286
最近,它变得流行,越来越多的公司和个人正在尝试。最常见的应用程序方案是知识库和知识问答。因此,我还尝试了一下,在笔记本电脑上部署和使用开源工具来建立知识库,以实现本地文档的使用,以完全在本地环境中构建个人知识基础。该操作过程共享供您参考。
部署环境
笔记本电脑,特定配置如下:
处理器:Intel(R)Core(TM)I7- CPU 1.80GHz 2.30 GHz
内存:16克
硬盘:500G
图形卡:集成图形卡
操作系统:11
软件列表
要构建本地知识库,除了安装知识库软件外,还需要安装它。最建议的在线推荐是该软件是开源的,并且具有功能强大的功能。您可以使用本地文档来构建插件知识库。此外,它还安装了它,可以用作操作的交互式工具。
软件
功能
版本
依赖工具
LLM模型,主要用于自然语言理解和推理
-r1:7b
强大的多模型AI助手,用于人类计算机互动
最新版本很好
BGE
知识库中文档检索的通用向量模型
BGE-M3:
知识基础建设工具
最新版本很好
git
安装
从官方网站下载并安装该过程。参考可用
安装完成后,执行命令:
ollama run deepseek-r1:7b
安装成功后,您可以在命令行上进行操作。
操作非常简单。此时,安装已完成。
安装
如果您不习惯使用命令行,并且想要使用客户端和本地安装之间的交互作用,则可以安装对话接口软件。我尝试了它,两者都很好,您可以更直观地调整模型的参数和提示单词。同时,它还支持本地对话内容的完整存档。本文以例子为例。
根据您的操作系统(支持,MAC和Linux)下载相应的安装程序包。默认情况下,下一步已完成。
开始,添加嵌入式模型。
在模型服务中选择
单击“管理”以选择模型,选择与您从模型列表本地部署的-R1模型版本相对应的选项。如果没有直接匹配,请选择支持自定义模型配置的条目。
在“ API地址”中,将API地址设置为:11434,即服务的默认接口地址,以确保它可以连接到本地运行-R1模型。
保存后,您可以创建助手与当地进行对话。
安装
使用部署运行,因此您需要首先在计算机上部署环境。同时,本文采用了直接从存储库中拉出镜子的方法,因此需要提前安装git。
您可以访问官方存储库的页面以根据文档中的说明拉镜子并安装和部署:
如果遇到问题,则可以访问网络上部署的陷阱帖子,例如:
如果未安装计算机,则可以参考|文档自己安装。本文使用WSL。
安装完成后,请记住启动“”,否则在稍后执行命令时将报告错误。
如果您的计算机没有安装GIT,则可以从Git下载安装文件 - 安装它。
安装完成后,转到命令行,将项目克隆到本地文件夹。
$ git clone https://github.com/infiniflow/ragflow.git
输入文件夹
$ cd ragflow/docker
使用预先编译的图像启动服务器:
运行以下命令将自动下载Slim Image V0.16.0-SLIM。
$ docker compose -f docker-compose.yml up -d
要下载与v0.16.0-slim不同的图像,请在运行启动服务之前更新/.env文件中的变量。例如,您可以通过设置=/:v0.16.0下载镜像v0.16.0的完整版本。
如果您遇到无法拉下图像的问题,则可以根据变量的注释提示,在 /.ENV文件中选择华为云的相应图像。
华为云镜名称://
成功运行后,打开浏览器并登录以输入页面。注册帐户后,您可以登录并使用它。
建立知识库
使用设置知识库,您必须首先在模型提供商中添加模型。必须添加两个模型,一个是LLM模型,它已被使用。另一个是嵌入式模型,用于使用BGE-M3。
在“要添加的模型”列表中选择“”以添加LLM。
可以通过以下命令获得“最大令牌”并填写。
ollama show deepseek-r1:7b
需要注意的“基本URL”,如果您填写“:11434”,您将遇到“ [Errno 111]”的例外。原因是机器中的程序无法访问机器的11434端口。您可以参考它。
因此,请注意此地的“基本URL”:
:11434
在添加嵌入式模型之前,首先安装BGE-M3
ollama pull bge-m3
然后配置嵌入模型。
成功添加模型后,输入“系统模型设置”,然后选择添加的模型。
然后,您可以创建一个知识库。
在知识库设置中修改语言,权限和嵌入模型。
在数据集中上传所需的文档。
上传成功后,选择“解析”的文档。
我上传了几个PDF文档,解析效果非常好。如果解析段中有任何不准确性,则可以手动纠正。
准备好数据集后,您可以“创建新助手”并提出问题。
与模型相比,个人知识库将从数据集与本地文档培训相结合的数据集进行分析,这与个人专业需求更一致。
总结
确实非常美味。它是由开源工具构建的,而无需花费一分钱来建立定制的知识库。从答案的逻辑和文档分析的效果来看,它们都非常好。当然,我可以亲自尝试这种情况,但这对企业的商业用途不利。除了企业自定义,操作和维护的需求外,还有两个主要问题:
1。个人笔记本的7B小型模型的配置和部署已经是限制,而将其用于Q&A的速度也可以。但是,使用个人知识库进行问答真的很慢。对于企业的正式使用或商业用途,仍然有必要尝试推荐的商业配置。
2。数据集的质量极大地影响了知识基础问题和答案效应,因此高价值的原始数据以及原始数据的分析和排序非常重要。工具功能现在非常好,但是数据工程将是企业数据库构建中的主要挑战。
个人知识基础
本站所发布的一切资源仅限用于学习和研究目的;不得将上述内容用于商业或者非法用途,否则,一切后果请用户自负。本站信息来自网络,版权争议与本站无关。您必须在下载后的24个小时之内,从您的电脑中彻底删除上述内容。如果您喜欢该程序,请支持正版软件,购买注册,得到更好的正版服务。
附: 二○○二年一月一日《计算机软件保护条例》第十七条规定:为了学习和研究软件内含的设计思想和原理,通过安装、显示、传输或者存储软件等方式使用软件的,可以不经软件著作权人许可,不向其支付报酬!鉴于此,也希望大家按此说明研究软件!
注:本站所有资源均来自网络转载,版权归原作者和公司所有,如果有侵犯到您的权益,请第一时间联系邮箱:785557022@qq.com 我们将配合处理!
----------------------------------------------------
版权声明:
一、本站致力于为软件爱好者提供国内外软件开发技术和软件共享,着力为用户提供优资资源。
二、本站提供的所有下载文件均为网络共享资源,请于下载后的24小时内删除。如需体验更多乐趣,还请支持正版。
三、我站提供用户下载的所有内容均转自互联网。如有内容侵犯您的版权或其他利益的,请编辑邮件并加以说明发送到站长邮箱。站长会进行审查之后,情况属实的会在三个工作日内为您删除。
----------------------------------------------------