644

在当今的信息爆炸时代,知识的有效管理和利用已成为个人和公司竞争力的关键。作为两个强大的工具,它为建立个性化知识库提供了前所未有的便利。但是,在线服务通常受到许多因素的限制,例如数据隐私,绩效瓶颈和自定义需求。因此,本地部署并成为越来越多用户的首选。本指南将带您一步一步地进入本地部署的世界,从环境准备到实际操作,并全面分析如何在本地环境中轻松建立自己的个性化知识基础,从而使知识的力量能够触及。

支持视频:本地化结构 +,建立个人知识库[硬核] [坑排水]

1。理论基础1。为什么不直接使用在线版本

1.1数据隐私和安全性

在线版本需要将数据传输到云服务器进行处理,并且可能会保留日志,用户需要信任服务提供商的隐私政策。对于涉及敏感数据(例如金融,医疗和其他行业)的方案,数据隐私和合规要求非常高,在线版本可能无法满足这些需求。

1.2性能和稳定性

在线版本依赖于网络和服务器资源,其响应速度可能会受到网络带宽和服务器负载的影响,尤其是在处理复杂的任务或高峰期时,可能发生延迟或性能瓶颈时。相比之下,本地部署可以最大程度地利用本地硬件资源,具有更稳定的性能,适用于高负载或大规模数据处理

1.3功能和自定义

在线版本的功能相对固定,无法修改模型参数或无法执行自定义优化。如果用户需要为特定行业或任务微调模型,则在线版本可能无法满足这些需求。

1.4成本和长期使用

在线版本通常采用付费模型,初始成本较低,但是当大规模使用长时间时,成本可能会大大增加。相比之下,尽管当地部署的初始投资很高,但长期使用成本是可控制的。

1.5使用情况和要求

在线版本适合快速体验,临时需求或轻量级任务,但是对于需要7×24小时高频通话,私人知识基础构建或处理敏感数据的方案,在线版本可能不是最佳选择。

2。如何在本地实施

2.1本地部署。2个性化知识基础构建

使用抹布技术( - ,搜索增强的生成)来建立个人知识库。开源框架具有其自己的模型,即局部部署RAG技术。

3。抹布技术原理4。为什么使用它

这是一项将离散变量转换为连续向量的技术,并广泛用于自然语言处理(NLP),推荐系统和其他字段。通过这样做,可以将单词,句子甚至文档映射到高维矢量空间中,以便具有相似语义的单词或文本更接近此空间。此表示不仅保留了原始数据的语义信息,而且还可以作为许多机器学习模型的输入功能。它具有以下特征:

2。安装CUDA,图形卡也可以参与计算操作。

在CMD窗口中运行-SMI以查看CUDA版本号,然后下载相同的CUDA版本,它只能低于或更高。解决不在GPU上运行的问题。

下载cuda:cuda |

NVCC-安装了检测CUDA。

3。安装并使用它来运行大型模型

它是一个开源框架,旨在轻松地在本地机器上部署和运行大型语言模型(LLM)

和设计。

下载

环境变量设置:

可变名称变量值0.0.0.0

可变名称,变量值e:\ ds

可变名称,可变值*

4。操作

-r1

ollama run deepseek-r1:1.5b

:11434

V.安装和配置

下载::

我的配置未成功,因此我必须使用虚拟机。

安装的下一步为虚拟机占用了390克的磁盘空间,并且内存还将占用20克以上的空间(分配了多少内存到磁盘空间),因此最好为虚拟机保留至少450克磁盘空间。您可以使用fdisk /dev /sda来增加空间。

在FDisk 界面中,请按照以下步骤:

要使内核重新阅读分区表,请运行以下命令:

sudo partprobe /dev/sda

假设新分区是SDA3,现在有必要将其添加到卷组(假设卷组为命名):

sudo pvcreate /dev/sda3
sudo vgextend centos /dev/sda3

接下来,扩展逻辑音量根和相应的文件系统:

sudo lvextend -l +100%FREE /dev/mapper/centos-root
sudo xfs_growfs /

通过上述步骤,您应该能够在根/逻辑卷中添加未分配的磁盘空间,并扩展文件系统以使用新添加的空间。

关闭防火墙:

sudo systemctl stop firewalld && sudo systemctl disable firewalld

检查防火墙状态:

sudo systemctl status firewalld

更新到最新版本,安装步骤如下:

1。更新系统软件包

在安装之前,要更新.x,您需要修改/Etc/yum.repos.d/-base.repo:

cd /etc/yum.repos.d
mv CentOS-Base.repo CentOS-Base.repo.bak
vi CentOS-Base.repo

[base]
name=CentOS-$releasever - Base
baseurl=http://vault.centos.org/7.9.2009/os/$basearch/
gpgcheck=1
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-7
[updates]
name=CentOS-$releasever - Updates
baseurl=http://vault.centos.org/7.9.2009/updates/$basearch/
gpgcheck=1
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-7
[extras]
name=CentOS-$releasever - Extras
baseurl=http://vault.centos.org/7.9.2009/extras/$basearch/
gpgcheck=1
gpgkey=file:///etc/p/rkipm-gpg/RPM-GPG-KEY-CentOS-7

yum clean all
yum makecache
sudo yum update -y

2。安装必要的依赖包

安装一些必要的工具和依赖项,例如Yum-Utils,这些工具和依赖性可以帮助我们管理存储库。

sudo yum install -y yum-utils

3。添加了官方软件存储库

提供了一个官方的软件存储库,通过该存储库可以确保版本的稳定性和安全性。运行以下命令以添加官方存储库:

sudo yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo

4。安装

安装社区版(CE):

sudo yum install -y docker-ce docker-ce-cli containerd.io

5。开始服务

安装完成后,您需要启动服务并设置自动启动:

sudo systemctl start docker
sudo systemctl enable docker

6。验证安装是否成功

运行以下命令以验证安装成功:

sudo docker run hello-world

如果安装成功,您将看到一条欢迎消息,表明其正常运行。

7。(可选)将当前用户添加到组默认

通常,命令需要管理员特权(SUDO)。为了避免每次键入sudo,请将当前用户添加到用户组:

sudo usermod -aG docker $USER

之后,您需要登录或重新启动系统以使用户组生效。

8。配置镜像加速度

需要添加或修改sudo vi /etc//.json:

{
"registry-mirrors": [
        "https://docker.1ms.run",
        "https://docker-0.unsee.tech"
    ]
}

sudo systemctl daemon-reload
sudo systemctl restart docker

9。安装

如果您需要使用它来管理多容器应用程序,则可以使用以下命令安装它:

sudo curl -L "https://github.com/docker/compose/releases/download/$(curl -s https://api.github.com/repos/docker/compose/releases/latest | grep -Po '"tag_name": "K.*d')" /docker-compose-linux-x86_64" -o /usr/local/bin/docker-compose
sudo chmod +x /usr/local/bin/docker-compose

10。验证安装

验证安装是否正确,并且服务正常启动:

sudo docker --version
sudo docker run hello-world

后者将下载测试图像并将其运行在容器中。如果一切正常,您会看到一条欢迎消息,说它已成功安装并正常工作。

6。下载

下载地址: - /:是基于深层的开放式抹布( - )。

2。确保VM。不低于

确认VM的大小:

sysctl vm.max_map_count

如果VM的值。比您可以将其重置的要少,在这里我们将其设置为:

sudo sysctl -w vm.max_map_count=262144

下次系统重新启动时,您的更改将重置。如果要进行永久更改,则需要更新VM的值。在/etc/.conf文件中:

vm.max_map_count=262144

3。切换到目录并执行

docker compose -f docker/docker-compose.yml up -d

仅在损坏时才完成以下命令。不要正常这样做:

停止$(PS -Q)#停止所有运行容器

RM $(PS -A -Q)#删除所有容器

RMI $(-Q)#删除所有图像

RM $(LS -Q)#删除所有卷

修剪#清理未使用的网络

以下命令是切换到 /目录,可以重新启动:

docker compose stop
docker compose up -d

4。服务器成功启动后,再次确认服务器状态

docker logs -f ragflow-server

以下接口提示服务器成功启动:

     ____   ___    ______ ______ __
    / __  /   |  / ____// ____// /____  _      __
   / /_/ // /| | / / __ / /_   / // __ | | /| / /
  / _, _// ___ |/ /_/ // __/  / // /_/ /| |/ |/ /
 /_/ |_|/_/  |_|____//_/    /_/ ____/ |__/|__/
 * Running on all addresses (0.0.0.0)
 * Running on http://127.0.0.1:9380
 * Running on http://x.x.x.x:9380
 INFO:werkzeug:Press CTRL+C to quit

如果您跳过此步骤并登录,则您的浏览器可能会提示或具有网络例外,因为它可能无法完全启动。

在浏览器中输入与您的服务器相对应的IP地址并登录。

在上面的示例中,您只需要输入:不变配置不需要输入端口(默认的HTTP服务端口80)。

5。创建一个新的知识库

总结

通过详细介绍本指南,我们深入探讨了本地部署的整个过程。从对在线版本的局限性分析到本地部署的必要条件和步骤,再到环境的构建和配置,每个细节都旨在为用户提供清晰而完整的实用路径。本地部署不仅可以解决数据隐私和安全问题,而且还为用户带来了绩效和稳定,功能自定义等方面的重大改进。通过建立个性化的知识库,用户将能够更有效地管理和利用知识资源,并将稳定的动机流入其个人学习和工作中。希望本指南能够成为建立个性化知识库的右手助手,从而使知识的力量能够触手可及。

本地部署

免责声明:
本站所发布的一切资源仅限用于学习和研究目的;不得将上述内容用于商业或者非法用途,否则,一切后果请用户自负。本站信息来自网络,版权争议与本站无关。您必须在下载后的24个小时之内,从您的电脑中彻底删除上述内容。如果您喜欢该程序,请支持正版软件,购买注册,得到更好的正版服务。
附: 二○○二年一月一日《计算机软件保护条例》第十七条规定:为了学习和研究软件内含的设计思想和原理,通过安装、显示、传输或者存储软件等方式使用软件的,可以不经软件著作权人许可,不向其支付报酬!鉴于此,也希望大家按此说明研究软件!
注:本站所有资源均来自网络转载,版权归原作者和公司所有,如果有侵犯到您的权益,请第一时间联系邮箱:785557022@qq.com 我们将配合处理!
----------------------------------------------------
版权声明:
一、本站致力于为软件爱好者提供国内外软件开发技术和软件共享,着力为用户提供优资资源。
二、本站提供的所有下载文件均为网络共享资源,请于下载后的24小时内删除。如需体验更多乐趣,还请支持正版。

三、我站提供用户下载的所有内容均转自互联网。如有内容侵犯您的版权或其他利益的,请编辑邮件并加以说明发送到站长邮箱。站长会进行审查之后,情况属实的会在三个工作日内为您删除。

----------------------------------------------------