博客 Ollama对比Nexa,本地高效部署大模型

Ollama对比Nexa,本地高效部署大模型

   数栈君   发表于 2024-12-17 15:13  397  0

掌握如何在本地机器上安装和使用Ollama与Nexa AI,这两个平台将帮助开发者能够轻松运行和管理AI模型。本文分享安装和基本使用方法。

1 Ollama

Linux机器上下载并安装Ollama,可以使用下面的命令一键安装:

curl -fsSL https://ollama.com/install.sh | sh

对于MacOS和Windows,请访问Ollama下载页面链接(https://ollama.com/download)获取相应的安装包。

安装完成后,在终端输入ollama命令,如果安装成功,你会看到命令行输出的相关提示。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/cc3d2c97e7ebea20dd38a56ed683fb9c..png

Ollama允许你从模型中心拉取所需的模型,并在本地运行。在运行模型前,请确保你的硬件配置满足模型的运行要求。使用以下命令运行模型:

ollama run <model-name>

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/9ef40aa9ea20e4914c5dd2dfe519ea5f..png

如果想在浏览器中使用模型,可以拉取模型镜像后,使用serve命令启动Ollama的本地Web服务器:

本地服务器启动后,可以通过Python脚本或Postman调用API,获取模型的响应数据。更多关于如何使用Web服务器的示例,可以参考Ollama官方博客(https://ollama.com/blog/llama3.2-vision)。

2 Nexa AI

Nexa AI与Ollama大致相似(二者为各种用例提供了工具),但其中心枢纽拥有更丰富的模型资源,包括大型和小型语言模型,以及图像、音频和视频生成模型。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/2e7aadb07edb18638c4e377f79cd6b04..png

你可以使用这个链接下载Nexa SDK:https://nexa.ai/download-sdk。

对于Linux用户,可以通过执行以下命令快速安装SDK:

curl -fsSL https://public-storage.nexa4ai.com/install.sh | sh

对于其他操作系统的用户,可以直接从上述链接下载对应的安装文件。此外,Nexa SDK也支持通过Python的pip安装器进行安装。

安装完成后,可以通过在终端输入nexa命令来验证SDK是否安装成功。如果安装无误,终端会显示预期的输出结果。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/7227f6ab1c2f5f8fe4c145e4cd905885..png

如果从Nexa中心枢纽拉取了模型到本地机器,那么可以使用命令nexa list进行验证,会显示类似下面的内容。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/41caa9dd20cfaace6f1681a986e90f51..png

如果模型镜像尚未拉取,那么可以使用命令nexa pull <model-name>或者run命令来拉取omnivision模型(一个小型视觉语言模型)。除了run命令,还有一个-st标志,你可以使用它来启动Streamlit服务器,通过浏览器的UI使用模型。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/59bbe771d1987f0e7bc8aba98678b3ed..png

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/62aa9420d143d8d07316464b6c90ac0b..png

Nexa UI与Streamlit

和Ollama一样,你可以使用下面的命令从你的本地移除任何你不想要的模型:

nexa remove <model-name>

Nexa AI和Ollama都提供了丰富的模型中心,你可以尝试运行不同的模型,体验在本地机器上运行生成性AI模型的便捷性。通过实践,你会发现在本地部署和测试AI模型是一件非常简单的事情。

如何学习大模型 AI ?

由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。

但是具体到个人,只能说是:

“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。

这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。

我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/21c7d90d1e7b69912c885dca987353d9..jpg


————————————————

本文系转载,版权归原作者所有,如若侵权请联系我们进行删除!

《数据资产管理白皮书》下载地址:

《行业指标体系白皮书》下载地址:

《数据治理行业实践白皮书》下载地址:

《数栈V6.0产品白皮书》下载地址:

想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:

同时,欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术群」,交流最新开源技术信息,群号码:30537511,项目地址:

0条评论
社区公告
  • 大数据领域最专业的产品&技术交流社区,专注于探讨与分享大数据领域有趣又火热的信息,专业又专注的数据人园地

最新活动更多
微信扫码获取数字化转型资料
钉钉扫码加入技术交流群