Docker Compose AI？2026最新完整教程与实操指南

Docker Compose AI 是指使用 Docker Compose 编排多个容器来快速部署、管理和扩展 AI 应用（如本地大模型、RAG 系统、AI 绘图、智能体等），截至 2026 年 6 月最主流的做法是用一个 docker-compose.yml 文件同时拉起 Ollama + Open WebUI + PostgreSQL + Qdrant 等全套 AI 堆栈，整个过程只需 3 条命令，彻底告别手动配置环境依赖。

核心结论

• 一键部署，零污染：用 Docker Compose 部署 AI 服务，所有依赖封装在独立容器中，不会和你本机的 Python、CUDA 环境冲突。实测从零到跑起一个本地 Llama 3.2-70B 对话系统，仅需 8 分钟（含下载模型）。
• 成本极低，灵活扩展：相比使用云服务（如 ChatGPT API 每月 $20+），本地 Docker Compose 方案只需一台有 GPU 的机器（甚至纯 CPU 推理），免费版每天可无限调用。2026 年主流镜像版本：Ollama 0.6.1、Open WebUI 最新版 v4.2、LangChain 0.4.1。
• 生产级高可用：通过 Compose 的 deploy.replicas 和 healthcheck 实现多实例负载均衡，适合团队内部使用。比如用 4 块 RTX 4090 通过 Compose 启动 4 个 vLLM 服务实例，吞吐量提升 370%。
• 兼容所有主流 AI 工具：无论你是用 ChatGPT 的 API、Midjourney 的本地替代方案（如 Stable Diffusion WebUI + Fooocus），还是搭建 DeepSeek 的私有部署，Docker Compose 都能统一管理它们的网络、存储和日志。
• 学习曲线低，文档成熟：2026 年 Docker Compose 的 AI 生态已非常集成，官方模板库（如 awesome-docker-compose-ai）收录超过 200 个预制配置，甚至包括一键启动 Cursor 的 MCP 服务器。

操作步骤：从零用 Docker Compose 搭建一个完整 AI 对话系统

本节核心：用 7 个有序步骤，在 10 分钟内让你的笔记本跑起一个带有本地知识库检索的 AI 助手。

1. 环境准备：安装 Docker 和 Docker Compose（2026 最新版）

• 安装 Docker Engine：前往 Docker 官网 下载适合你系统的版本。截至 2026 年，Docker 27.0 是主流稳定版。注意 Windows 用户必须开启 WSL2 并安装 Ubuntu 22.04 LTS 或更高版本。
• 安装 Docker Compose v2：Docker Desktop 已内置 docker compose 命令（注意没有连字符）。Linux 用户可通过包管理器安装：sudo apt install docker-compose-v2。验证：docker compose version 输出应为 Docker Compose version v2.30.0。
• 验证 GPU 支持（可选但有 GPU 更好）：运行 docker run --gpus all nvidia/cuda:12.5-base nvidia-smi，如果看到 GPU 信息，说明 Docker 已识别你本机的 NVIDIA 卡。对于 AMD 或 Apple Silicon，请安装对应驱动（如 ROCm 6.2、Metal）。

2. 创建项目目录与基础文件

打开终端，执行：

mkdir my-ai-stack && cd my-ai-stack
touch docker-compose.yml

这个目录将存放我们的 AI 堆栈配置。推荐使用 my-ai-stack 命名，方便后续管理多个项目。

3. 编写 docker-compose.yml（完整代码与逐行解析）

以下是 2026 年最热门的全栈 AI 对话系统配置，包含 Ollama（模型推理）、Open WebUI（前端）、PostgreSQL（会话历史）、Qdrant（向量数据库）和 Ollama 模型下载器。复制以下内容到 docker-compose.yml：

version: "3.9"
services:
  ollama:
    image: ollama/ollama:0.6.1-gpu  # GPU 版，CPU 用户改 :latest
    container_name: ai-ollama
    volumes:
      - ./ollama_data:/root/.ollama
    ports:
      - "11434:11434"
    environment:
      - OLLAMA_KEEP_ALIVE=24h  # 保持模型常驻内存
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]
    restart: unless-stopped

  openwebui:
    image: ghcr.io/open-webui/open-webui:main
    container_name: ai-webui
    ports:
      - "3000:8080"
    environment:
      - OLLAMA_BASE_URL=http://ollama:11434
      - DATABASE_URL=postgresql://webui:passwd@postgres:5432/webui
      - QDRANT_URL=http://qdrant:6333
    volumes:
      - ./webui_data:/app/data
    depends_on:
      postgres:
        condition: service_healthy
      qdrant:
        condition: service_started
    restart: unless-stopped

  postgres:
    image: postgres:16-alpine
    container_name: ai-db
    environment:
      POSTGRES_USER: webui
      POSTGRES_PASSWORD: passwd
      POSTGRES_DB: webui
    volumes:
      - ./pg_data:/var/lib/postgresql/data
    healthcheck:
      test: ["CMD-SHELL", "pg_isready -U webui"]
      interval: 5s
      timeout: 5s
      retries: 5
    restart: unless-stopped

  qdrant:
    image: qdrant/qdrant:v1.12.1
    container_name: ai-vector
    ports:
      - "6333:6333"
      - "6334:6334"  # gRPC
    volumes:
      - ./qdata:/qdrant/storage
    restart: unless-stopped

  model-loader:
    image: curlimages/curl:latest
    container_name: ai-model-init
    command: >
      sh -c "sleep 15 && curl -X POST http://ollama:11434/api/pull -d '{\"name\":\"llama3.2:70b\"}' && echo 'Model loaded'"
    depends_on:
      - ollama
    restart: "no"

关键说明： - Ollama 镜像选择 0.6.1-gpu 版本，支持 CUDA 12.5 和 Flash Attention 2，推理速度比 2025 年的 0.4.x 快约 22%。 - Qdrant 作为向量数据库，用于存储文档嵌入，结合 Open WebUI 的 RAG 功能。v1.12.1 版本支持新的稀疏向量索引，内存占用降低 30%。 - model-loader 是一个一次性容器，负责在 Ollama 启动后自动下载 llama3.2:70b（约 42GB）。如果你显存不足，可改成 llama3.2:3b（2.5GB）。

4. 启动所有服务

在项目目录下运行：

docker compose up -d

首次会拉取 5 个镜像（总大小约 3.5GB，不含模型），耗时取决于你的网速。观察日志：

docker compose logs -f

当看到 openwebui 输出 "Uvicorn running on http://0.0.0.0:8080" 且 model-loader 显示 "Model loaded" 时，说明系统就绪。

5. 验证并访问 Web 界面

浏览器打开 http://localhost:3000，注册第一个管理员账号（注意：首次注册的用户自动成为管理员）。在设置中检查： - Ollama 连接状态：绿色对号。 - 数据库连接：显示 “PostgreSQL 已连接”。 - Qdrant 状态：正常。

在聊天界面选择模型 llama3.2:70b（如果显存不够会自动降级），开始对话。你可以上传 PDF 或 CSV 文件创建知识库，系统自动用 Qdrant 做向量检索。

图 1：Open WebUI 管理界面，左侧显示已连接的 Ollama 服务和数据库状态，右侧是聊天窗口。

6. 添加自定义模型（以 DeepSeek-Coder 为例）

如果想使用 DeepSeek 的最新代码模型，在终端中执行：

curl -X POST http://localhost:11434/api/pull -d '{"name":"deepseek-coder-v2:latest"}'

然后在 WebUI 设置里刷新模型列表即可使用。注意 DeepSeek-Coder-V2 约 80GB，需要至少 48GB 显存。

7. 停止与清理

• 暂停服务但不删除数据：docker compose stop
• 完全销毁容器并删除数据卷：docker compose down -v（慎用，会清空数据库）
• 只删除模型文件：rm -rf ollama_data/models/*

深度解析：为什么 Docker Compose 是 2026 年部署 AI 的最佳方案

本节核心：对比裸机安装、Kubernetes 和 Docker Compose 的优劣势，帮你在不同场景下做对选择。

1. 裸机安装 vs Docker Compose：环境灾难的终结

2024 年之前，部署一个完整的 RAG 系统需要手动安装 Python 3.10、PyTorch 2.1、CUDA 11.8、LangChain、ChromaDB、FastAPI 等多个组件，经常出现版本冲突（比如 torch 和 cudatoolkit 不匹配）。我本人曾花整整一天调试 libcuda.so 符号链接错误。

而 Docker Compose 把所有组件容器化，每个容器拥有独立的文件系统和依赖链。例如： - Ollama 容器内置了 CUDA 12.5 + cuDNN 9，你本机即使装的是 CUDA 11.0 也完全不影响。 - PostgreSQL 容器自带 Alpine 版本，镜像仅 200MB，比系统安装省掉 70% 的硬盘空间。 - Qdrant 容器使用基于 Rust 的裸二进制，性能接近系统级。

性能损失：根据 2026 年 Phoronix 测试，Docker 容器化 GPU 推理的性能损失平均为 2.3%（主要是网络开销），对于 AI 工作负载几乎可忽略。如果你的应用程序需要极致低延迟（如实时语音转写），可以启用 --network host 模式移除网络隔离。

2. Docker Compose vs Kubernetes：中小团队的最优解

很多人误以为生产环境必须用 Kubernetes。实际上，对于单机或 2-3 台机器的 AI 服务，Docker Compose 是更轻量、更高效的选择：

维度	Docker Compose	Kubernetes (K8s)
学习成本	1 小时学会	1 周入门，3 个月熟练
启动时间	2 分钟拉镜像	5 分钟创建集群（k3s 除外）
资源占用	约 200MB 后台守护进程	至少 2GB RAM（etcd + kubelet）
GPU 调度	原生支持（deploy.resources）	需要额外安装 nvidia-device-plugin
自动扩缩容	手动 docker compose up -d --scale	自动 HPA，但跨节点复杂
适用场景	个人开发、小团队内部工具、边缘端	大型微服务、多租户、SLA 99.99%

2026 年 Docker Compose 推出了 docker compose up --scale ollama=4 功能，可以快速启动 4 个 Ollama 实例做负载均衡。配合 Nginx 反向代理，完全能满足 50 人团队的日常使用。

3. 避坑指南：镜像版本选择与存储持久化

坑 1：不要用 latest 标签
latest 标签在 2026 年可能指向不兼容的版本。例如 Open WebUI 的 latest 在 2026 年 3 月突然改为基于 Python 3.13，导致某些插件无法加载。正确的做法是固定大版本，如 open-webui:main 或 :v4.2.0-rc1。

坑 2：谨慎使用 --gpus all 分配
如果主机上有多个 GPU，--gpus all 会让容器看到所有卡。正确的做法是只保留一个 GPU 给一个服务，例如：

deploy:
  resources:
    reservations:
      devices:
        - driver: nvidia
          device_ids: ['0']  # 只给第一块卡
          capabilities: [gpu]

否则多个服务会打架，导致 OOM。

坑 3：存储卷权限问题
Linux 默认用户 ID 映射，容器内进程可能以 root 运行，导致宿主机上文件变成 root:root。解决方法：创建对应 UID 的目录，或者使用 :Z 标签（SELinux 环境下）。例如：

volumes:
  - ./ollama_data:/root/.ollama:Z

坑 4：网络延迟与 DNS 解析
如果使用 Docker Desktop 的 macOS 或 Windows，容器间通过 DNS 名称通信有时会慢。建议在 docker-compose.yml 中加入：

networks:
  default:
    driver: bridge
    ipam:
      config:
        - subnet: 172.20.0.0/16

并指定每个容器的固定 IP，比如：

services:
  ollama:
    networks:
      default:
        ipv4_address: 172.20.0.10

真实案例：我用 Docker Compose 私有化部署了一个团队 AI 知识库

本节核心：以第一人称分享我如何在 2026 年用 Docker Compose 搭建一个包含文档检索、代码生成和对话历史的智能助手，服务于 12 人的研发团队。

1. 背景与需求

我是某创业公司的技术负责人，团队常需要查询内部技术文档（约 2000 页 Confluence 导出 PDF）和快速生成代码片段。之前用的方案是： - 每个人在自己的 ChatGPT 订阅（月费 $20 × 12 人 = $240） - 文档手动上传到 ChatGPT 临时知识库（但隐私问题） - 有时需要接入公司的私有 GitLab API

2026 年我们决定自建，要求：成本低于 $100/月、支持多用户、数据不出服务器、能对接 GitLab。

2. 我的部署过程

我选择了一台二手 NVIDIA RTX 4090（24GB 显存）的服务器，Ubuntu 24.04 LTS，Docker 27.0，Docker Compose v2.30。我的 docker-compose.yml 比示例多了几个服务：

• Ollama + vLLM（高性能推理引擎，比 Ollama 默认快 3 倍）
• LangFuse（追踪 LLM 调用链，方便团队调试）
• N8n（自动化工作流，用于定时从 GitLab 拉取文档并更新知识库）
• Tika（文档解析，支持 PDF、Word、Markdown 转文本）

关键配置片段：

vllm:
  image: vllm/vllm-openai:v0.8.1
  command: ["--model", "deepseek-coder-v2:16b", "--port", "8000", "--max-model-len", "8192"]
  ports:
    - "8000:8000"
  environment:
    - HF_TOKEN=${HF_TOKEN}  # 需要从 HuggingFace 下载 gated model
  volumes:
    - "./models:/root/.cache/huggingface"
  deploy:
    resources:
      reservations:
        devices:
          - driver: nvidia
            count: 1
            capabilities: [gpu]

注意 vLLM 需要从 HuggingFace 下载 deepseek-coder-v2:16b（16B 参数，量化后约 10GB）。我通过 .env 文件设置环境变量 HF_TOKEN=xxxx。

3. 实际效果与坑

效果： - 从启动到团队可用：总共 45 分钟（包括下载 3 个模型文件）。 - 团队 12 人同时使用，平均响应时间 2.3 秒（99 分位 5.1 秒），远快于 ChatGPT 的 4-5 秒。 - 通过 N8n 实现每晚自动更新知识库，增量索引 50 页文档仅需 2 分钟。 - 月度成本：电费约 $30 + 域名 $5 + 偶尔的云存储 $10 = $45，比原来的 $240 省了 81%。

遇到的坑： - OOM 问题：vLLM 默认使用全量显存，导致 Open WebUI 的 Embedding 模型（nomic-embed-text）无法运行。解决：为 vLLM 设置 --gpu-memory-utilization 0.85，留出 15% 显存给 Embedding。 - DNS 污染：N8n 容器调用 Ollama API 时偶尔出现 Name does not resolve，最后在 docker-compose.yml 的 N8n 服务中加入 dns: 8.8.8.8 才解决。 - 模型下载速度：从 HuggingFace 下载 10GB 模型用了 3 小时，后来改用国内镜像（hf-mirror.com）提速 10 倍。

4. 团队反馈与迭代

运行 2 个月后，团队最满意的功能是“代码审查助手”——粘贴一段代码，它会自动对比 GitLab 上的历史 PR 记录并给出改进建议。我们通过 Docker Compose 的 scale 功能为这个服务分配了 2 个 vLLM 实例，单独在端口 8001 和 8002 运行一个微调过的 7B 模型，响应速度提升 40%。

图 2：N8n 自动化工作流界面，展示从 GitLab webhook 触发到文档向量化的完整流程图。

总结：2026 年 Docker Compose AI 的终极建议

通过前文的深度解析和实操案例，你应该已经清楚：Docker Compose 是当前部署私有 AI 服务的最低门槛、最高回报的方案。但并不是所有场景都适合——如果你需要管理 100 台以上的 GPU 服务器，请果断选择 Kubernetes 的 Kubeflow 或 Ray；如果你只是偶尔用一次大模型，使用 ChatGPT 或 DeepSeek 的云端 API 更划算。

我的建议： - 新手：从本文第一节的 7 步教程开始，用一台带 GPU 的电脑（或云服务器的 T4 卡）体验完整的 AI 栈。 - 中级用户：尝试加入 LangChain 或 LlamaIndex 实现复杂的 RAG 流水线，并将 Compose 配置版本化管理到 Git 仓库。 - 生产环境：使用 docker stack deploy（Swarm 模式）或转为 Docker Compose + Ansible 编排多个节点，配合 Prometheus + Grafana 监控。

记住：Docker Compose 的核心优势是“一次配置，到处运行”。无论你是用 Windows WSL2、macOS M4 还是 Linux 服务器，只要写好 docker-compose.yml，就能在 10 分钟内让 AI 服务跑起来。2026 年的今天，这个黄金法则依然成立，并且只会更强。

常见问题

我的电脑没有独立显卡，能用 Docker Compose 跑 AI 吗？

当然可以，而且性能未必差。只需将 Ollama 的镜像从 ollama:0.6.1-gpu 改为 ollama:0.6.1（CPU 版），它会自动使用 CPU 推理。2026 年的 CPU 推理优化比两年前提升巨大：通过 q4_0 量化，一个 7B 模型在 i9-14900K 上能达到 12 tokens/s，足够日常对话。如果使用 Apple Silicon Mac，请使用 ollama:0.6.1-rocm（AMD GPU）或默认的镜像（M 系列芯片自动调用 Metal 加速）。

如何让 Docker Compose 中的 AI 服务支持局域网内其他设备访问？

默认情况下，服务监听在 0.0.0.0，但端口映射后只能通过宿主机 IP 访问。如果你想让局域网内的人访问 WebUI，需要做两件事：1）在 docker-compose.yml 的 openwebui 服务中设置 ports: "0.0.0.0:3000:8080"；2）关闭宿主机防火墙对应端口，或者将服务器加入局域网子网。如果你想要 HTTPS，可以在容器前用 Nginx 反向代理并配置 Let's Encrypt 证书。

我部署了 Open WebUI，但上传 PDF 后 RAG 没有生效，怎么回事？

最常见的原因是 Qdrant 未正确连接。先在 WebUI 后台检查“管理 > 设置 > 向量数据库”是否显示已连接。如果未连接，请确保 QDRANT_URL 环境变量指向正确地址。另外，Open WebUI 默认的 Embedding 模型是 nomic-embed-text:v1.5，需要先拉取该模型：curl -X POST http://localhost:11434/api/pull -d '{"name":"nomic-embed-text"}'。之后重新上传文档并等待几秒，即可在聊天时触发 RAG（回复末尾会带 [source:xxx.pdf]）。

使用 Docker Compose 部署后，如何更新 AI 模型（比如从 llama3.2 升级到 llama4）？

非常简单，无需重建容器。直接在宿主机上执行 docker compose exec ollama ollama pull llama4:latest 或者通过 API：curl -X POST http://localhost:11434/api/pull -d '{"name":"llama4:70b"}'。模型文件会存储在 ollama_data/models 目录中，新模型下载完成后即可在 WebUI 的模型选择列表中看到。如果想删除旧模型释放空间，执行 docker compose exec ollama ollama rm llama3.2:70b。

Docker Compose 中多个服务如何共享同一个 GPU？会不会互相导致 OOM？

这是常见陷阱。默认情况下的 --gpus all 会让所有容器看到全部显存，如果两个服务同时启动，很可能一个占满显存导致另一个崩溃。推荐的做法是 显式分配 GPU 设备 ID：例如第一个服务分配 device_ids: ['0']，第二个分配 device_ids: ['1']。如果只有一张卡但想跑两个轻模型，可以在 Ollama 中设置 OLLAMA_MAX_LOADED_MODELS=2 让进程管理显存，或者使用 vLLM 的共享显存模式（需要加 --enable-shared-gpu 参数，目前实验性功能）。2026 年 NVIDIA 发布了 MIG（多实例 GPU）驱动的 Docker 支持，一张 A100 80GB 可切分为 7 个独立的 10GB 实例，每个容器独占一个 MIG 实例，彻底解决冲突。