334

背景

近年来,人工智能技术的发展势头变得越来越强大。无论是在大型语言模型中的突破,例如美国公司开发的模型,还是中国公司在独立学习系统领域的快速发展,它们都证明了人工智能技术的前所未有的潜力和变革能力。这不仅是技术本身的快速发展,而且是对人类知识和认知限制界限的深入探索。从自然语言处理计算机视觉,从增强学习到生成的AI,技术创新接一个地出现,为人类社会带来了前所未有的变化。

在这场技术革命中,我们很高兴看到AI系统可以通过接近或超越人类层面的能力来完成复杂的知识推理,多任务和创造性的思维。例如,中国公司开发的智能搜索引擎不仅在信息检索方面取得了重大进展,而且还表现出独特的域适应性。此外,AI技术的应用已渗透到各个行业中,从医疗,教育到融资,每个领域都经历了前所未有的数字和智能转型。在这个挑战和机遇的时代,我们需要以更开放和包容的态度来拥抱人工智能所带来的变化,同时对未知未来的未来保持敬畏和谨慎。

本文旨在详细介绍如何构建-R1离线,主要用于企业级的开发和使用。此外,由于访问的数量热和每秒连续的恶意DOS请求,朋友还可以为那些访问经验不佳的人离线建立离线。

只需要在线体验它的朋友可以直接跳到官方网站链接。

施工准备

基本概念

它是一个开源人工智能平台,重点介绍了大型语言模型(大型模型,LLM)的本地部署和管理。它允许开发人员在自己的服务器上运行多个预训练的语言模型,例如GPT-3或通过API服务。核心优势是其有效的本地推理能力,可以快速响应资源有限的环境中的用户查询。基本说明附有如下。

#1.启动ollama服务
ollama serve
#2.创建模型 (create);使用 Modelfile 来创建一个新模型。你需要提供一个包含模型信息的 Modelfile。
ollama create /path/to/Modelfile
#3.显示模型信息 (show);查看特定模型的详细信息,例如模型名称、版本等。
ollama show model_name
#4.列出所有模型 (list);列出本地所有可用的模型,可以在这里查找模型名称。
ollama list
ollama ls
#5.运行模型 (run);运行一个已安装的模型,执行某些任务。
ollama run model_name
#6.列出正在运行的模型 (ps);显示当前正在运行的模型列表。
ollama ps
#7.删除模型 (rm);删除一个已安装的模型。
ollama rm model_name
#8.查看版本 (version);显示当前 ollama 工具的版本信息。
ollama -v
ollama --version
#9.复制模型 (cp);复制一个模型到另一个位置或给定名称的地方。
ollama cp old_model new_model
#10.从注册表拉取模型 (pull);从模型注册表中拉取一个模型,供本地使用。
ollama pull model_name
#11.推送模型到注册表 (push);将本地模型推送到模型注册表中,以便他人或其他系统使用。
ollama push model_name

它是一个开源的容器化平台,用于包装软件及其所有因环境中的镜像文件,以便在任何环境中轻松操作。这主要用于运行开放式webui,以便于使用-r1。

施工过程

成功安装上述安装产品后,您可以开始构建-R1。

数字之后的B表示计算功率参数。随着参数的增加,培训和计算的量也会大大增加,但还应选择与本地硬件相匹配。

配置比较表

下载完成并成功(出现三个箭头)后,您可以执行问答。早期阶段的下载速度非常快,速度将变得越来越慢(FQ可以有效地提高下载速度)。您可以在C完成后再次手动运行(下载将继续)。

下载成功后,您可以查询下载的模型信息

由于上述黑匣子中的互动方法显然无法满足我们的要求。我们需要一个友好的互动页面(好像是一样),也可以记录我们对话的内容。此时,引入了打开的Web UI。

登录到客户端,然后单击以输入以下命令:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

步骤说明:

通过上述命令,您可以在本地启动WebUI服务,并且外部用户可以通过主机的端口3000访问它。容器将自动重新启动以应对崩溃或终止,并且数据将持续以供随后使用。

使用权

WebUI本地访问地址:: 3000/

登录成功后,您可以选择我们下载的对话的相应模型。

对话测试

总而言之,我们已经完成了R1的当地建设。从用户的角度来看,与独特的思维过程相比,它使人们发光。

总结

通过详细介绍本文,我们了解在本地环境中部署-R1和WebUI的完整过程。从环境准备,模型部署到WebUI访问和交互式测试,每个步骤都至关重要。 -R1作为功能强大的开源平台,为大型语言模型的本地部署提供了一个高效且稳定的解决方案。 WebUI的添加使模型管理和交互式测试更加直观和方便。通过本文,您不仅掌握了部署和访问的实践技能,而且对大型语言模型的本地应用有了更深入的了解。希望这种知识和经验将有助于您的人工智能旅程,并推动您在人工智能领域取得更大的成功。

webui

免责声明:
本站所发布的一切资源仅限用于学习和研究目的;不得将上述内容用于商业或者非法用途,否则,一切后果请用户自负。本站信息来自网络,版权争议与本站无关。您必须在下载后的24个小时之内,从您的电脑中彻底删除上述内容。如果您喜欢该程序,请支持正版软件,购买注册,得到更好的正版服务。
附: 二○○二年一月一日《计算机软件保护条例》第十七条规定:为了学习和研究软件内含的设计思想和原理,通过安装、显示、传输或者存储软件等方式使用软件的,可以不经软件著作权人许可,不向其支付报酬!鉴于此,也希望大家按此说明研究软件!
注:本站所有资源均来自网络转载,版权归原作者和公司所有,如果有侵犯到您的权益,请第一时间联系邮箱:785557022@qq.com 我们将配合处理!
----------------------------------------------------
版权声明:
一、本站致力于为软件爱好者提供国内外软件开发技术和软件共享,着力为用户提供优资资源。
二、本站提供的所有下载文件均为网络共享资源,请于下载后的24小时内删除。如需体验更多乐趣,还请支持正版。

三、我站提供用户下载的所有内容均转自互联网。如有内容侵犯您的版权或其他利益的,请编辑邮件并加以说明发送到站长邮箱。站长会进行审查之后,情况属实的会在三个工作日内为您删除。

----------------------------------------------------