644
在当今的信息爆炸时代,知识的有效管理和利用已成为个人和公司竞争力的关键。作为两个强大的工具,它为建立个性化知识库提供了前所未有的便利。但是,在线服务通常受到许多因素的限制,例如数据隐私,绩效瓶颈和自定义需求。因此,本地部署并成为越来越多用户的首选。本指南将带您一步一步地进入本地部署的世界,从环境准备到实际操作,并全面分析如何在本地环境中轻松建立自己的个性化知识基础,从而使知识的力量能够触及。
支持视频:本地化结构 +,建立个人知识库[硬核] [坑排水]
1。理论基础1。为什么不直接使用在线版本
1.1数据隐私和安全性
在线版本需要将数据传输到云服务器进行处理,并且可能会保留日志,用户需要信任服务提供商的隐私政策。对于涉及敏感数据(例如金融,医疗和其他行业)的方案,数据隐私和合规要求非常高,在线版本可能无法满足这些需求。
1.2性能和稳定性
在线版本依赖于网络和服务器资源,其响应速度可能会受到网络带宽和服务器负载的影响,尤其是在处理复杂的任务或高峰期时,可能发生延迟或性能瓶颈时。相比之下,本地部署可以最大程度地利用本地硬件资源,具有更稳定的性能,适用于高负载或大规模数据处理。
1.3功能和自定义
在线版本的功能相对固定,无法修改模型参数或无法执行自定义优化。如果用户需要为特定行业或任务微调模型,则在线版本可能无法满足这些需求。
1.4成本和长期使用
在线版本通常采用付费模型,初始成本较低,但是当大规模使用长时间时,成本可能会大大增加。相比之下,尽管当地部署的初始投资很高,但长期使用成本是可控制的。
1.5使用情况和要求
在线版本适合快速体验,临时需求或轻量级任务,但是对于需要7×24小时高频通话,私人知识基础构建或处理敏感数据的方案,在线版本可能不是最佳选择。
2。如何在本地实施
2.1本地部署。2个性化知识基础构建
使用抹布技术( - ,搜索增强的生成)来建立个人知识库。开源框架具有其自己的模型,即局部部署RAG技术。
3。抹布技术原理4。为什么使用它
这是一项将离散变量转换为连续向量的技术,并广泛用于自然语言处理(NLP),推荐系统和其他字段。通过这样做,可以将单词,句子甚至文档映射到高维矢量空间中,以便具有相似语义的单词或文本更接近此空间。此表示不仅保留了原始数据的语义信息,而且还可以作为许多机器学习模型的输入功能。它具有以下特征:
2。安装CUDA,图形卡也可以参与计算操作。
在CMD窗口中运行-SMI以查看CUDA版本号,然后下载相同的CUDA版本,它只能低于或更高。解决不在GPU上运行的问题。
下载cuda:cuda |
NVCC-安装了检测CUDA。
3。安装并使用它来运行大型模型
它是一个开源框架,旨在轻松地在本地机器上部署和运行大型语言模型(LLM)
和设计。
下载
环境变量设置:
可变名称变量值0.0.0.0
可变名称,变量值e:\ ds
可变名称,可变值*
4。操作
-r1
ollama run deepseek-r1:1.5b
:11434
V.安装和配置
下载::
我的配置未成功,因此我必须使用虚拟机。
安装的下一步为虚拟机占用了390克的磁盘空间,并且内存还将占用20克以上的空间(分配了多少内存到磁盘空间),因此最好为虚拟机保留至少450克磁盘空间。您可以使用fdisk /dev /sda来增加空间。
在FDisk 界面中,请按照以下步骤:
要使内核重新阅读分区表,请运行以下命令:
sudo partprobe /dev/sda
假设新分区是SDA3,现在有必要将其添加到卷组(假设卷组为命名):
sudo pvcreate /dev/sda3 sudo vgextend centos /dev/sda3
接下来,扩展逻辑音量根和相应的文件系统:
sudo lvextend -l +100%FREE /dev/mapper/centos-root sudo xfs_growfs /
通过上述步骤,您应该能够在根/逻辑卷中添加未分配的磁盘空间,并扩展文件系统以使用新添加的空间。
关闭防火墙:
sudo systemctl stop firewalld && sudo systemctl disable firewalld
检查防火墙状态:
sudo systemctl status firewalld
更新到最新版本,安装步骤如下:
1。更新系统软件包
在安装之前,要更新.x,您需要修改/Etc/yum.repos.d/-base.repo:
cd /etc/yum.repos.d mv CentOS-Base.repo CentOS-Base.repo.bak vi CentOS-Base.repo
[base] name=CentOS-$releasever - Base baseurl=http://vault.centos.org/7.9.2009/os/$basearch/ gpgcheck=1 gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-7 [updates] name=CentOS-$releasever - Updates baseurl=http://vault.centos.org/7.9.2009/updates/$basearch/ gpgcheck=1 gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-7 [extras] name=CentOS-$releasever - Extras baseurl=http://vault.centos.org/7.9.2009/extras/$basearch/ gpgcheck=1 gpgkey=file:///etc/p/rkipm-gpg/RPM-GPG-KEY-CentOS-7
yum clean all yum makecache sudo yum update -y
2。安装必要的依赖包
安装一些必要的工具和依赖项,例如Yum-Utils,这些工具和依赖性可以帮助我们管理存储库。
sudo yum install -y yum-utils
3。添加了官方软件存储库
提供了一个官方的软件存储库,通过该存储库可以确保版本的稳定性和安全性。运行以下命令以添加官方存储库:
sudo yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
4。安装
安装社区版(CE):
sudo yum install -y docker-ce docker-ce-cli containerd.io
5。开始服务
安装完成后,您需要启动服务并设置自动启动:
sudo systemctl start docker sudo systemctl enable docker
6。验证安装是否成功
运行以下命令以验证安装成功:
sudo docker run hello-world
如果安装成功,您将看到一条欢迎消息,表明其正常运行。
7。(可选)将当前用户添加到组默认
通常,命令需要管理员特权(SUDO)。为了避免每次键入sudo,请将当前用户添加到用户组:
sudo usermod -aG docker $USER
之后,您需要登录或重新启动系统以使用户组生效。
8。配置镜像加速度
需要添加或修改sudo vi /etc//.json:
{ "registry-mirrors": [ "https://docker.1ms.run", "https://docker-0.unsee.tech" ] }
sudo systemctl daemon-reload sudo systemctl restart docker
9。安装
如果您需要使用它来管理多容器应用程序,则可以使用以下命令安装它:
sudo curl -L "https://github.com/docker/compose/releases/download/$(curl -s https://api.github.com/repos/docker/compose/releases/latest | grep -Po '"tag_name": "K.*d')" /docker-compose-linux-x86_64" -o /usr/local/bin/docker-compose sudo chmod +x /usr/local/bin/docker-compose
10。验证安装
验证安装是否正确,并且服务正常启动:
sudo docker --version sudo docker run hello-world
后者将下载测试图像并将其运行在容器中。如果一切正常,您会看到一条欢迎消息,说它已成功安装并正常工作。
6。下载
下载地址: - /:是基于深层的开放式抹布( - )。
2。确保VM。不低于
确认VM的大小:
sysctl vm.max_map_count
如果VM的值。比您可以将其重置的要少,在这里我们将其设置为:
sudo sysctl -w vm.max_map_count=262144
下次系统重新启动时,您的更改将重置。如果要进行永久更改,则需要更新VM的值。在/etc/.conf文件中:
vm.max_map_count=262144
3。切换到目录并执行
docker compose -f docker/docker-compose.yml up -d
仅在损坏时才完成以下命令。不要正常这样做:
停止$(PS -Q)#停止所有运行容器
RM $(PS -A -Q)#删除所有容器
RMI $(-Q)#删除所有图像
RM $(LS -Q)#删除所有卷
修剪#清理未使用的网络
以下命令是切换到 /目录,可以重新启动:
docker compose stop docker compose up -d
4。服务器成功启动后,再次确认服务器状态
docker logs -f ragflow-server
以下接口提示服务器成功启动:
____ ___ ______ ______ __ / __ / | / ____// ____// /____ _ __ / /_/ // /| | / / __ / /_ / // __ | | /| / / / _, _// ___ |/ /_/ // __/ / // /_/ /| |/ |/ / /_/ |_|/_/ |_|____//_/ /_/ ____/ |__/|__/ * Running on all addresses (0.0.0.0) * Running on http://127.0.0.1:9380 * Running on http://x.x.x.x:9380 INFO:werkzeug:Press CTRL+C to quit
如果您跳过此步骤并登录,则您的浏览器可能会提示或具有网络例外,因为它可能无法完全启动。
在浏览器中输入与您的服务器相对应的IP地址并登录。
在上面的示例中,您只需要输入:不变配置不需要输入端口(默认的HTTP服务端口80)。
5。创建一个新的知识库
总结
通过详细介绍本指南,我们深入探讨了本地部署的整个过程。从对在线版本的局限性分析到本地部署的必要条件和步骤,再到环境的构建和配置,每个细节都旨在为用户提供清晰而完整的实用路径。本地部署不仅可以解决数据隐私和安全问题,而且还为用户带来了绩效和稳定,功能自定义等方面的重大改进。通过建立个性化的知识库,用户将能够更有效地管理和利用知识资源,并将稳定的动机流入其个人学习和工作中。希望本指南能够成为建立个性化知识库的右手助手,从而使知识的力量能够触手可及。
本地部署
本站所发布的一切资源仅限用于学习和研究目的;不得将上述内容用于商业或者非法用途,否则,一切后果请用户自负。本站信息来自网络,版权争议与本站无关。您必须在下载后的24个小时之内,从您的电脑中彻底删除上述内容。如果您喜欢该程序,请支持正版软件,购买注册,得到更好的正版服务。
附: 二○○二年一月一日《计算机软件保护条例》第十七条规定:为了学习和研究软件内含的设计思想和原理,通过安装、显示、传输或者存储软件等方式使用软件的,可以不经软件著作权人许可,不向其支付报酬!鉴于此,也希望大家按此说明研究软件!
注:本站所有资源均来自网络转载,版权归原作者和公司所有,如果有侵犯到您的权益,请第一时间联系邮箱:785557022@qq.com 我们将配合处理!
----------------------------------------------------
版权声明:
一、本站致力于为软件爱好者提供国内外软件开发技术和软件共享,着力为用户提供优资资源。
二、本站提供的所有下载文件均为网络共享资源,请于下载后的24小时内删除。如需体验更多乐趣,还请支持正版。
三、我站提供用户下载的所有内容均转自互联网。如有内容侵犯您的版权或其他利益的,请编辑邮件并加以说明发送到站长邮箱。站长会进行审查之后,情况属实的会在三个工作日内为您删除。
----------------------------------------------------