352
在人工智能领域,大雨后出现了大型语言模型,在下雨后像蘑菇一样出现,为自然语言处理带来了前所未有的突破。但是,使用这些强大的工具进行创新的大量研究人员和开发人员通常会成为大量研究人员和开发人员的障碍。作为开源大型语言模型工具,它是为了解决这个问题而诞生的。它打破了传统大型语言模型的障碍,并使更多的人轻松享受自然语言处理的魅力。本文将带您进行本地部署的实用旅程,从环境准备到部署完成,每个步骤都精心设计和详细阐述,以确保您可以轻松地开始并成功地运行此功能强大的工具。通过在本教程中对个人测试的有效验证,您将不再受高费用和繁琐的申请过程的限制,而是能够自由使用各种自然语言处理任务来开始创新的旅程。
1。概述
因为我一直在忙于工作,并且已经连续三年失业了,所以今天我不禁要与您分享一些我的学习笔记。大语言模型是从GPT到Manus之间的神与神仙之间的斗争,但Manus需要申请许可,很难申请。甚至帐户价格也达到了数万个元人民币(网站如下所示: /:不,开放。是。今天的文章将带您了解如何在本地部署的详细信息。我将准备以后录制视频。请更多地关注我的帐户。
2.环境构造2.1安装或
(1)输入网站以下载
(2)检查安装是否成功
CMD进入输入CONDA,一系列CONDA信息将显示如下
表示Conda安装成功。
(3)创建和激活虚拟环境
首先创建虚拟环境
conda create -n open_manus python=3.12
这成功创建了虚拟环境
激活虚拟环境
conda activate open_manus
这种虚拟环境已成功激活
下载代码
如果您有git,则可以使用以下命令下载它,如果没有命令,则可以直接下载它。
git clone https://github.com/mannaandpoem/OpenManus.git
这下载了完整的代码
下一步
(4)下载必要的组件
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
我们在这里使用的镜像来源,否则将非常慢。
这将成功安装所有组件。
2.2 LLM编程接口配置
需要配置大型语言模型(LLM)的应用程序编程接口(API)。请按照以下步骤设置您的配置。
(1)在配置目录中创建一个名为“ .toml”的文件。
官方网站提供了Linux版本,如下所示:
cp config/config.example.toml config/config.toml
我们需要将其更改为以下版本:
copy configconfig.example.toml configconfig.toml
(2)编辑“ /.toml”文件,添加您的API键并自定义设置。
使用了官方网站,但已收取费用。我们免费使用它,然后在本地使用它。
下载
下载地址如下:
安装如下:
安装后配置环境变量
检查安装是否成功
下载模型
输入官方网站以下载该模型,链接如下
下载默认的7b。如下:
这样,我们已经安装了它。
修改配置文件
安装目录中有一个.toml文件(即:C: Users 18851 \)。
该文件如下:
# Global LLM configuration [llm] model = "claude-3-5-sonnet" base_url = "https://api.openai.com/v1" api_key = "sk-..." max_tokens = 4096 temperature = 0.0 # [llm] #AZURE OPENAI: # api_type= 'azure' # model = "YOUR_MODEL_NAME" #"gpt-4o-mini" # base_url = "{YOUR_AZURE_ENDPOINT.rstrip('/')}/openai/deployments/{AZURE_DEPOLYMENT_ID}" # api_key = "AZURE API KEY" # max_tokens = 8096 # temperature = 0.0 # api_version="AZURE API VERSION" #"2024-08-01-preview" # Optional configuration for specific LLM models [llm.vision] model = "claude-3-5-sonnet" base_url = "https://api.openai.com/v1" api_key = "sk-..."
由于已收取费用,因此需要将上述文件修改为您在本地部署的模型(仅用于本地部署,您只需要修改模型和URL,因此您不需要它),但是如果您在线使用它,则需要填写。本文在线使用,并修改为:
修改此文件:
这样,我们已经完成了设置。
2.3测试
RECMD并激活此环境。然后CD到该根目录。如下:
调用主要功能:
python main.py
如下:
我发现我们已经成功运行了。
总结:
在本文中详细的指导和实践之后,我们成功完成了本地部署。从安装必要的软件环境到下载代码和组件,到配置LLM编程界面,并最终通过实际的测试步骤验证部署效果,每个步骤都凝结了我们的努力和努力。通过本实用的教程,我们不仅掌握了当地部署技能,而且更重要的是,我们为自然语言处理领域的研究和发展做出了贡献。我相信,随着广泛的应用和深入的探索,将出现更具创新的成就,从而促进人工智能领域的持续发展。
本地部署
本站所发布的一切资源仅限用于学习和研究目的;不得将上述内容用于商业或者非法用途,否则,一切后果请用户自负。本站信息来自网络,版权争议与本站无关。您必须在下载后的24个小时之内,从您的电脑中彻底删除上述内容。如果您喜欢该程序,请支持正版软件,购买注册,得到更好的正版服务。
附: 二○○二年一月一日《计算机软件保护条例》第十七条规定:为了学习和研究软件内含的设计思想和原理,通过安装、显示、传输或者存储软件等方式使用软件的,可以不经软件著作权人许可,不向其支付报酬!鉴于此,也希望大家按此说明研究软件!
注:本站所有资源均来自网络转载,版权归原作者和公司所有,如果有侵犯到您的权益,请第一时间联系邮箱:785557022@qq.com 我们将配合处理!
----------------------------------------------------
版权声明:
一、本站致力于为软件爱好者提供国内外软件开发技术和软件共享,着力为用户提供优资资源。
二、本站提供的所有下载文件均为网络共享资源,请于下载后的24小时内删除。如需体验更多乐趣,还请支持正版。
三、我站提供用户下载的所有内容均转自互联网。如有内容侵犯您的版权或其他利益的,请编辑邮件并加以说明发送到站长邮箱。站长会进行审查之后,情况属实的会在三个工作日内为您删除。
----------------------------------------------------