掌握如何在本地机器上安装和使用Ollama与Nexa AI,这两个平台将帮助开发者能够轻松运行和管理AI模型。本文分享安装和基本使用方法。
在Linux机器上下载并安装Ollama,可以使用下面的命令一键安装:
curl -fsSL https://ollama.com/install.sh | sh
对于MacOS和Windows,请访问Ollama下载页面链接(https://ollama.com/download)获取相应的安装包。
安装完成后,在终端输入ollama
命令,如果安装成功,你会看到命令行输出的相关提示。
Ollama允许你从模型中心拉取所需的模型,并在本地运行。在运行模型前,请确保你的硬件配置满足模型的运行要求。使用以下命令运行模型:
ollama run <model-name>
如果想在浏览器中使用模型,可以拉取模型镜像后,使用serve命令启动Ollama的本地Web服务器:
本地服务器启动后,可以通过Python脚本或Postman调用API,获取模型的响应数据。更多关于如何使用Web服务器的示例,可以参考Ollama官方博客(https://ollama.com/blog/llama3.2-vision)。
你可以使用这个链接下载Nexa SDK:https://nexa.ai/download-sdk。
对于Linux用户,可以通过执行以下命令快速安装SDK:
curl -fsSL https://public-storage.nexa4ai.com/install.sh | sh
对于其他操作系统的用户,可以直接从上述链接下载对应的安装文件。此外,Nexa SDK也支持通过Python的pip安装器进行安装。
安装完成后,可以通过在终端输入nexa
命令来验证SDK是否安装成功。如果安装无误,终端会显示预期的输出结果。
如果从Nexa中心枢纽拉取了模型到本地机器,那么可以使用命令nexa list
进行验证,会显示类似下面的内容。
如果模型镜像尚未拉取,那么可以使用命令nexa pull <model-name>
或者run
命令来拉取omnivision模型(一个小型视觉语言模型)。除了run
命令,还有一个-st
标志,你可以使用它来启动Streamlit服务器,通过浏览器的UI使用模型。
和Ollama一样,你可以使用下面的命令从你的本地移除任何你不想要的模型:
nexa remove <model-name>
Nexa AI和Ollama都提供了丰富的模型中心,你可以尝试运行不同的模型,体验在本地机器上运行生成性AI模型的便捷性。通过实践,你会发现在本地部署和测试AI模型是一件非常简单的事情。
————————————————