本地运行 LLM 的 4 种方式

4 Ways to Run LLMs Locally

能够在本地运行 LLM 有诸多好处：

• 数据完全不离开你的机器，保障隐私。
• 可以先在本地测试，再决定是否迁移到云端，等等。

让我们来看看本地运行 LLM 的四种方式。

1）Ollama

通过 Ollama 运行一个模型，只需执行这样一条命令：

要开始使用，只需一条命令即可安装 Ollama：

搞定！

现在，你可以用这些命令下载任意受支持的模型：

如果需要编程方式调用，你还可以安装 Ollama 的 Python 包，或者使用它与 Llama Index、CrewAI 等编排框架的集成：

2）LMStudio

LMStudio 可以作为一个应用直接安装在你的电脑上。

该应用不会收集数据，也不会监控你的操作，你的数据始终留在本地机器上。个人使用完全免费。

它提供了类似 ChatGPT 的交互界面，让你可以在对话过程中随时加载或卸载模型。下面这段视频展示了它的用法：

和 Ollama 一样，LMStudio 也支持多种 LLM。

3）vLLM

vLLM 是一个快速、易用的 LLM 推理与服务库（更多细节见 LLM 部署部分）。

只需几行代码，你就能以兼容 OpenAI 接口的方式，在本地运行 LLM（比如 DeepSeek）：

4）LlamaCPP

LlamaCPP 能以极简的配置实现性能不错的 LLM 推理。