Cherry Studio开源AI平台本地部署与远程调用全解读

212

在当今人工智能技术快速发展的时代，越来越多的开发商和企业为开源AI平台提供了开放，灵活和可扩展的特征。作为最好的产品之一，它不仅提供了一个集成的开发环境，而且还支持本地大型模型的部署和远程调用，从而大大拓宽了AI应用程序的边界。但是，对于首次用户，如何在本地部署并将远程调用实施到本地大型模型可能是一个具有挑战性且有价值的学习过程。本文旨在帮助读者快速开始使用这个功能强大的开源AI平台，并通过详细描述本地部署过程，远程调用机制以及通过全面的图片和文本中的实际操作中的关键步骤和预防措施来轻松构建和部署自己的AI应用程序。

前言

本文主要介绍了如何在系统计算机上本地安装开源AI客户端，并将渗透工具结合在一起，以随时随地轻松地调用各种本地部署的AI大型语言模型，而无需公开IP，并且没有准备云服务器的麻烦。

它是与Mac和Linux系统兼容的桌面客户端（例如，，，）和本地模型（由运营）。用户内置了300多个预配置的AI助手，用户还可以自定义独家助理以满足个性化需求。

它不仅支持多个模型进行对话，还可以创建代理，文学图片，AI翻译，并处理多个文件格式（包括文本，图片，PDF和文件）。开箱即用，不需要环境。使用此AI工具，这相当于拥有全包高级AI助手，节省时间并提高效率。事不宜迟，让我们详细介绍如何安装和使用它！

1。本地安装

在此示例中，使用了专业版本系统，并且本地模型已提前准备-R1和 QWQ -32B。

如果您不知道如何在本地部署这两个AI模型，则可以查看以下文章：“ 本地部署和远程访问”和“ Local -R1 ”

首先，主页下载客户端：或下载此网站（）

查找要下载的客户端安装程序的版本：

选择安装位置后，您可以快速安装：

2。配置模型服务

打开客户端后，您可以看到接口非常简洁明了。

2.1配置在线模型服务

单击左下角的设置以配置模型服务：

在这里，我们以基于硅的流模型服务为例。如果您不在本地部署大型模型，只需添加API密钥，就可以在客户端在线使用大型型号！如果您没有其API键，请单击下面获取键。在跳跃页面上注册一个帐户，以免费获取您的API键：

将此键复制到现在在客户端中的API键框，并确定右上角的开关：

现在单击底部的管理按钮，您可以看到您已经可以在此处使用数十个大型型号：

例如，在此处单击加号以添加-R1-70B模型：

然后单击客户端左上角的聊天图标，在对话框顶部的模型选择中，您可以看到刚刚添加的70B型号：

现在，您可以在对话框中在线聊天：

但是，这种使用API​​接口在线调用大型模型的方式通常是基于消费。可以偶尔轻松使用它。如果您长时间或大量使用它，则可能需要准备预算。

2.2配置本地型号服务

如果您已经在本地服务器上部署了AI大型型号，则还可以在客户端中配置本地模型服务以免费与大型型号聊天，并在需要时使用它们。

同样，我们单击左下角的设置，在模型服务中选择，然后在右上角打开开关：

单击管理：

在这里，您可以看到我们以前在本地下载的 QWQ -32B模型和-R1：1.5B模型。单击加号以添加：

然后返回到对话框顶部的模型选择中的客户端聊天界面，您可以看到刚刚添加的本地模型：

现在，您可以在对话框中与本地QWQ-32B型号聊天，无需担心额外的费用：

2.3简单演示其他功能

除了使用API​​密钥在线使用AI大型模型并致电本地AI大型型号聊天外，还有许多非常有用的功能。

2.3.1创建智能

我们可以单击聊天助理下的代理功能，然后根据不同的用法方案选择所需的智能模板以创建：

创建后，单击聊天助手，查看您刚刚创建的美丽文章布局代理。在此模板接口中，我们可以选择一个在线模型或本地模型，并在聊天框中提出问题：

2.3.2 AI 图片

在创建代理下面，我们还可以使用它来调用flux.1或SD模型来执行文学图形：（需要配置提供商API密钥）

您可以看到模型选择中支持多个模型：

此外，它还支持使用AI翻译，各种AI小程序和其他实际功能的使用：

点击快速使用：

3。安装穿透工具

现在，我们可以在本地使用许多AI功能带来的便利性，但是如果我们想使用客户端远程调用本地部署的AI大型模型聊天和办公室，任何时间，任何地方，我们都需要使用渗透工具来实现公共网络访问！

当我们配置上面的本地模型服务时，我们会使用本地安装的访问模型。如果我们想远程调用该模型，则需要设置环境变量。

打开CMD终端并执行以下两个命令：

setx OLLAMA_HOST "0.0.0.0"

setx OLLAMA_ORIGINS "*"

然后配置一个公共网络地址来解决此问题：

接下来，让我们介绍如何安装穿透。该过程也非常简单：

首先输入官方网站：官方网站地址：

单击以免费注册帐户，然后下载最新版本：

登录成功后，单击下载到本地并安装（默认情况下只能安装它）。本教程选择下载版。

4。配置公共网络地址

安装成功后，请访问：9200在浏览器上，使用您的帐户登录，您可以在登录后查看配置界面，然后将其放下以在WebUI管理接口中进行配置。

接下来，配置本地服务的公共网络地址：

登录后，单击左侧仪表板的隧道管理 - 创建隧道。

成功创建隧道后，单击左侧的状态 - 在线隧道列表以查看生成的公共网络访问地址。有两种访问它的方法，一种是http和https：

使用上面的任何公共网络地址并将其粘贴到客户端模型服务的API地址：

单击管理以查看本地部署和模型，即使它们不在同一网络环境中！

单击添加以随时使用公共网络环境中其他计算机的任何地方远程调用本地模型：

概括

为了方便演示，我们在上述操作过程中使用了生成的HTTP公共地址隧道，其公共地址是随机生成的。此随机地址的优点是它是快速建立的，可以立即使用。但是，它的缺点是URL是随机生成的，它将在24小时内随机变化，从而更适合临时使用。

如果您有长期的远程用途来远程调用本地AI模型，或者在远程位置访问和使用其他本地部署的服务，但不想每天重新配置公共网络地址，并希望公共网络地址美丽，易于记住，并体验更多的功能，并体验更多的功能和更快的带宽，那么我建议您选择使用固定的次要次级次级次级次级次级网络来配置公共网络以配置公共网络的服务。

5。配置固定的公共网络地址

接下来，我们演示如何为局部区域配置固定的HTTP公共网络地址。该地址不会更改，因此很方便与他人共享它，以查看您长时间部署的项目，而无需每天反复修改服务器地址。