大模型本地部署教程：Ollama从零上手指南

不想把数据发给云端？本文教你用Ollama在本地电脑部署大语言模型，包括安装配置、模型选择、API调用、与Open WebUI搭建私有ChatGPT，完全免费且数据不出本机。

3 分钟阅读
提效录
#Ollama #本地部署 #大模型 #教程
大模型本地部署教程：Ollama从零上手指南

大模型本地部署教程：Ollama从零上手指南

引言：为什么要本地部署大模型？

随着大语言模型的普及，越来越多的人开始关注一个问题：我的数据真的安全吗？ 当你把公司内部文档、客户信息、个人隐私数据发给云端 API 时，这些数据可能已经被用于模型训练或被第三方访问。

本地部署大模型有四大核心优势：

  • 隐私安全：所有数据留在本机，不经过任何第三方服务器
  • 离线可用：没有网络也能正常使用，适合飞机、地铁等场景
  • 零成本：开源模型完全免费，无需按 token 付费
  • 自由定制：可以微调模型、修改系统提示词，打造专属助手

如果你还不了解 AI Agent 的概念，建议先阅读什么是AI Agent？，有助于理解本文中的部分应用场景。

Ollama 简介

Ollama 是一个开源的本地大模型运行工具，让你像使用 Docker 拉取镜像一样，一条命令就能下载并运行大语言模型。它基于 llama.cpp 构建，支持 GPU 加速，兼容 Mac、Linux 和 Windows 三大平台。

核心优势：

  • 一键安装，零配置即可运行
  • 支持主流开源模型（Llama 3、Qwen2、DeepSeek 等）
  • 内置 HTTP API，方便与各种前端工具集成
  • 自动管理模型下载、缓存和版本

安装 Ollama

Mac

brew install ollama
ollama serve  # 启动服务（macOS 应用版会自动启动）

也可以直接访问 ollama.com 下载 macOS 应用程序，双击安装即可。

Linux

curl -fsSL https://ollama.com/install.sh | sh

安装完成后，Ollama 会自动作为系统服务启动。可以通过以下命令验证：

ollama --version

Windows

访问 ollama.com/download 下载 Windows 安装包，安装后会在系统托盘运行。

下载和运行模型

安装完成后，下载模型只需一条命令：

# 下载 Llama 3 模型（约4.7GB）
ollama pull llama3

# 直接运行模型（会自动下载）
ollama run llama3

进入交互模式后，就可以直接对话了：

>>> 用一句话解释什么是机器学习
机器学习是让计算机从数据中自动学习规律，而不需要显式编程的技术。

推荐模型

模型用途大小最低内存
llama3:8b通用对话4.7GB8GB
qwen2:7b中文场景首选4.4GB8GB
deepseek-coder:6.7b编程辅助3.8GB8GB
phi3:mini轻量级2.3GB4GB
llama3:70b高质量推理40GB64GB

💡 中文用户强烈推荐 qwen2 系列，中文理解和生成效果显著优于同级别其他模型。详细的模型对比可参考DeepSeek使用教程。

API 调用

Ollama 启动后会在本地 11434 端口提供 HTTP API，可以轻松集成到你的应用中。

cURL 调用

curl http://localhost:11434/api/generate -d '{
  "model": "llama3",
  "prompt": "解释什么是深度学习",
  "stream": false
}'

Python 调用（兼容 OpenAI 格式）

Ollama 兼容 OpenAI API 格式，这意味着你可以直接复用已有的 OpenAI 代码：

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:11434/v1",
    api_key="ollama"  # 任意值即可
)

response = client.chat.completions.create(
    model="llama3",
    messages=[
        {"role": "system", "content": "你是一个有帮助的AI助手"},
        {"role": "user", "content": "用Python写一个快速排序"}
    ]
)

print(response.choices[0].message.content)

这种方式的好处是：你可以无缝切换云端和本地模型，代码几乎不需要修改。

搭建私有 ChatGPT：Ollama + Open WebUI

虽然命令行够酷，但大多数人更习惯图形界面。Open WebUI 是一个开源的 ChatGPT 风格前端，搭配 Ollama 使用体验极佳。

Docker 一键部署

docker run -d \
  -p 3000:8080 \
  --add-host=host.docker.internal:host-gateway \
  -v open-webui:/app/backend/data \
  --name open-webui \
  --restart always \
  ghcr.io/open-webui/open-webui:main

启动后访问 http://localhost:3000，注册一个本地账户即可使用。

界面功能

  • 类 ChatGPT 的对话界面，支持 Markdown 渲染
  • 多模型切换：在设置中切换不同已下载的模型
  • 对话历史管理：支持搜索、导出、删除
  • 知识库上传：支持 RAG（检索增强生成）
  • 多用户管理：适合团队内部部署

如果你想了解更多 AI 自动化工作流的搭建方法，推荐阅读2026年AI编程工具推荐。

与开发工具集成

VS Code + Continue 插件

Continue 是一个开源的 VS Code AI 编程助手插件，支持接入 Ollama 作为后端：

  1. 在 VS Code 中安装 Continue 插件
  2. 打开设置，添加 Ollama 模型配置：
{
  "models": [
    {
      "title": "Ollama DeepSeek Coder",
      "provider": "ollama",
      "model": "deepseek-coder:6.7b"
    }
  ]
}

配置完成后，你可以在 VS Code 中享受代码补全、解释代码、生成测试等功能，且完全本地运行。

n8n 自动化工作流

Ollama 的 API 可以与 n8n 等自动化工具集成，实现：

  • 邮件自动分类和回复
  • 文档自动摘要和归档
  • 客服工单自动处理

在 n8n 中使用 HTTP Request 节点，配置 Ollama 的 API 端点即可。

自定义 Modelfile

你可以通过 Modelfile 创建定制化的模型，类似于写 Dockerfile：

FROM llama3

SYSTEM "你是一个资深的Python开发工程师，回答简洁专业。"

PARAMETER temperature 0.7
PARAMETER top_p 0.9

保存为 Modelfile 后，创建自定义模型：

ollama create my-python-expert -f Modelfile
ollama run my-python-expert

对 AI 工具链协议感兴趣？查看MCP协议完全指南了解如何让 AI 工具之间无缝协作。

性能优化

GPU 加速

Ollama 会自动检测并使用可用的 GPU：

  • NVIDIA：需要安装 CUDA 驱动，支持 RTX 20 系列及以上
  • AMD：需要 ROCm 驱动，支持 RX 6000 系列及以上
  • Mac：M1/M2/M3 芯片自动使用 Metal 加速，效果非常好

验证 GPU 是否被使用：

# NVIDIA
nvidia-smi

# 查看 Ollama 运行日志
ollama run llama3 --verbose

模型量化

量化可以显著降低内存需求，同时保持较好的效果。推荐使用 Q4_K_M 量化版本：

# 使用量化版本（默认大部分模型已经是Q4量化）
ollama pull llama3:8b-instruct-q4_K_M

内存优化技巧

  • 关闭不使用的模型：ollama stop llama3
  • 设置模型保持时间：OLLAMA_KEEP_ALIVE=5m ollama serve
  • 小内存用户选择 Phi-3 mini（3.8B）或 Gemma 2B
  • 避免同时加载多个模型

常见问题与排错

Q: 运行模型时提示内存不足？ A: 尝试使用更小的模型（如 phi3:mini），或使用量化版本（q4_0、q4_K_M）。

Q: GPU 没有被利用？ A: 确认已安装正确的 GPU 驱动。NVIDIA 用户运行 nvidia-smi 检查驱动版本，CUDA 版本需 >= 11.8。

Q: 模型生成速度很慢？ A: 纯 CPU 推理速度确实较慢（约5-10 tokens/s），建议使用 GPU 或选择更小的模型。Mac M 系列芯片表现优秀，可达 20-40 tokens/s。

Q: 如何更新模型？ A: 重新执行 ollama pull 模型名 即可拉取最新版本。

Q: API 连接失败？ A: 确认 Ollama 服务正在运行（ollama serve），默认监听 127.0.0.1:11434。如需远程访问，设置环境变量 OLLAMA_HOST=0.0.0.0。

总结

Ollama 让本地运行大模型变得前所未有的简单。从安装到使用，整个过程不超过 10 分钟。无论你是注重隐私的个人用户、需要离线使用的出差党，还是想在内部部署 AI 能力的团队，Ollama 都是一个优秀的选择。

快速回顾：

  1. ollama pull 下载模型
  2. ollama run 开始对话
  3. 通过 API（localhost:11434）集成到你的应用中
  4. 搭配 Open WebUI 获得 ChatGPT 般的体验

本地部署不是要替代云端服务，而是给你多一个选择——一个完全由你掌控的选择。

如果你对 AI 自动化和效率工具感兴趣，欢迎持续关注提效录，我们会定期分享最实用的 AI 工具和技巧。

分享文章：

常见问题

Ollama对电脑配置有什么要求？
运行7B参数模型至少需要8GB内存（推荐16GB），运行13B模型需要16GB以上内存。如果有NVIDIA显卡（6GB显存以上），速度会快很多。Mac M系列芯片表现优秀。
Ollama支持哪些模型？
支持Llama 3、Qwen2、DeepSeek、Mistral、Gemma、Phi-3等主流开源模型。通过ollama pull命令可以一键下载。
本地部署的大模型效果怎么样？
7B模型日常对话和简单任务效果不错，13B-34B模型能力接近GPT-3.5水平。对于隐私敏感场景和离线使用非常合适。
Ollama可以联网使用吗？
可以。Ollama提供HTTP API（默认localhost:11434），可以配合Open WebUI、Continue.dev等前端工具使用，也可以通过API与自己的应用集成。

相关文章

AI虚拟主播

AI虚拟主播入门：2026年打造自己的虚拟形象

8月4日

数字人直播系统

数字人直播系统搭建：2026完整技术方案+设备清单

8月3日

AI视频赚钱

AI视频赚钱的4种方法：2026从短视频到短剧全路径

7月28日