RAG检索增强生成入门：让大模型拥有你的私有知识库

大模型很强大，但也有”硬伤”

ChatGPT、DeepSeek等大模型让人惊艳，但用多了你会发现三个致命问题：幻觉（一本正经地胡说八道）、知识截止（训练数据有时间限制，不知道最近的事）、无法访问私有数据（你公司的内部文档、个人笔记，模型从未见过）。直接问大模型”我们公司的报销流程是什么”，它只能编一个看似合理的答案。

我在2025年底给一家做医疗器械的客户搭建内部知识库时就遇到了这个问题。他们有3000多份产品文档、操作手册和合规文件，员工每天要花大量时间翻找资料。最初尝试直接把文档丢给GPT-4，结果模型编造了一堆不存在的产品参数，差点闹出安全事故。后来用RAG方案，准确率直接飙升到95%以上。

有没有办法让大模型”开卷考试”，根据真实文档来回答？这就是RAG检索增强生成要解决的问题。如果你还不熟悉大模型的基本用法，建议先看看DeepSeek使用教程和ChatGPT提示词技巧。

关于Prompt的更多用法，推荐阅读这篇Prompt指南。

RAG是什么？一个通俗的比喻

想象一场考试：闭卷考试靠死记硬背，容易记错（这就是纯大模型的状态）；而开卷考试允许你翻书，答案来自书本，准确率大大提升。

RAG（Retrieval-Augmented Generation）就是给大模型”开卷考试”的能力。 它的工作方式是：用户提问→系统从知识库中检索相关文档片段→把检索结果和问题一起交给大模型→大模型基于真实材料生成回答。

这样一来，大模型不再凭记忆”编造”，而是基于你提供的文档”引用作答”，幻觉问题大幅减少。这就是RAG检索增强生成的核心思想。

打个更生活化的比方：大模型就像一个记忆力超群但喜欢添油加醋的人。你问他一个不知道的问题，他不会说”我不知道”，而是会”自信地”编一个答案。RAG的作用就是在他回答之前，先给他一本参考书，让他翻书找答案后再开口。

从技术史的角度来说，RAG这个概念最早是Facebook AI Research（现在的Meta AI）在2020年的论文中提出的。到了2024-2026年，随着大模型能力飞速提升，RAG终于从学术论文走进了普通开发者的工具箱。现在几乎每一个AI应用公司都在用RAG，它已经成为AI落地的标配技术。

RAG工作原理：三步搞定

RAG的整体流程分为三步：

第一步：文档切分。 把你的PDF、Markdown、网页等文档切成小段（chunk），每段通常500-1000字。太长检索不精准，太短缺少上下文。切分策略直接影响最终效果，这是很多人忽略的关键环节。

举个例子：一篇5000字的产品手册，如果按每800字切分，大约会生成7个片段。每个片段之间会有100字左右的重叠（overlap），防止关键信息被切断。这就像把一本书按章节拆开，但每章的开头保留上一章结尾的一小段，保证语义连贯。

第二步：向量化存储。 用Embedding模型把每段文字转换成一组数字（向量），存入向量数据库。语义相近的文字，向量也相近，这样就能实现”语义搜索”而不是简单的关键词匹配。比如”如何退货”和”退款流程”虽然用词不同，但语义相近，向量搜索能找到。

向量化的过程可以类比为：给每段文字分配一个”GPS坐标”。意思相近的文字，坐标也相近。当你提问时，系统把你的问题也转换成坐标，然后找最近的那些文字——这就是语义搜索的本质。

第三步：检索+生成。 用户提问时，同样把问题向量化，在数据库中找到最相似的文档片段，然后连同问题一起发送给大模型生成最终回答。大模型收到的Prompt大概长这样：“基于以下参考资料回答问题。参考资料：[片段1]…[片段2]…问题：[用户问题]“。

环境准备

安装所需依赖，只需三条命令：

pip install langchain langchain-community langchain-openai
pip install chromadb
pip install pypdf unstructured

我们选用LangChain框架和Chroma向量数据库。LangChain是目前最流行的LLM应用开发框架，封装了文档加载、切分、向量化、检索、生成的完整工具链。Chroma是一个轻量级的嵌入式向量数据库，无需额外安装服务，pip install即可使用。

如果想用本地大模型替代OpenAI，可以参考Ollama本地部署教程搭建本地环境。本地部署的好处是完全离线运行、不需要付API费用、数据不出本地。缺点是需要一台至少16GB内存的电脑。

实战：搭建个人文档问答系统

下面用一个完整例子，手把手搭建一个能回答你私有文档问题的RAG系统。我会用一个包含20个Markdown文件的产品文档目录作为示例。

Step 1: 加载文档

from langchain_community.document_loaders import PyPDFLoader, DirectoryLoader

# 加载单个PDF
loader = PyPDFLoader("my_docs/产品手册.pdf")
docs = loader.load()

# 或批量加载目录下所有Markdown文件
loader = DirectoryLoader("my_docs/", glob="**/*.md")
docs = loader.load()

print(f"加载了 {len(docs)} 个文档")

LangChain支持数十种文档格式：PDF、Word、Markdown、HTML、CSV、Notion导出等。对于扫描件PDF，需要额外安装pytesseract做OCR识别。对于网页，可以用WebBaseLoader直接加载URL。

Step 2: 文档切分

from langchain.text_splitter import RecursiveCharacterTextSplitter

splitter = RecursiveCharacterTextSplitter(
    chunk_size=800,      # 每段800字符，推荐500-1000
    chunk_overlap=100,   # 段间重叠100字符，防止切断语义
    separators=["

", "
", "。", "，", " "]
)
chunks = splitter.split_documents(docs)
print(f"切分为 {len(chunks)} 个片段")

配置建议： 中文文档chunk_size建议600-1000，overlap占chunk_size的10%-15%。技术文档可以适当增大chunk_size以保留完整上下文。法律文档建议chunk_size=1200，因为法律条款通常较长且需要完整引用。

切分策略的选择非常关键。RecursiveCharacterTextSplitter会按照你给的separators列表依次尝试切分——先按双换行（段落分隔），如果片段还太大，再按单换行，以此类推。这比简单按字数切分要好得多，因为它尽量保持了语义完整性。

Step 3: 向量化

from langchain_openai import OpenAIEmbeddings

# 使用OpenAI的Embedding模型
embeddings = OpenAIEmbeddings(model="text-embedding-3-small")

# 如果想用本地模型，可以用HuggingFace
# from langchain_community.embeddings import HuggingFaceBgeEmbeddings
# embeddings = HuggingFaceBgeEmbeddings(model_name="BAAI/bge-small-zh-v1.5")

Embedding模型的选择直接影响检索质量。text-embedding-3-small是OpenAI性价比最高的Embedding模型，每百万token只要$0.02。bge-small-zh-v1.5是中文领域最好的开源Embedding模型之一，完全免费，但需要本地运行。

Step 4: 存入向量数据库

from langchain_community.vectorstores import Chroma

vectorstore = Chroma.from_documents(
    documents=chunks,
    embedding=embeddings,
    persist_directory="./chroma_db"  # 持久化到本地
)

Chroma会把向量数据保存在本地磁盘上。下次启动时不需要重新向量化，直接加载即可。对于10万条以下的小知识库，Chroma性能完全够用。

Step 5: 检索+生成

from langchain.chains import RetrievalQA
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(model="gpt-4o-mini", temperature=0)

qa_chain = RetrievalQA.from_chain_type(
    llm=llm,
    retriever=vectorstore.as_retriever(search_kwargs={"k": 4}),
    return_source_documents=True
)

# 提问！
result = qa_chain.invoke({"query": "产品的退款政策是什么？"})
print(result["result"])
print("参考来源：", result["source_documents"])

k=4表示每次检索返回最相关的4个片段。这个数字需要根据你的知识库特点调整——如果文档比较短小精悍，k=3就够了；如果信息分散在多个段落，可以增大到k=6-8。

以上就是一个完整的RAG知识库搭建流程。如果你想进一步构建更智能的AI助手，可以结合AI Agent框架指南让Agent自主决定何时检索知识库。

向量数据库对比选型

选对向量数据库很关键，以下是主流方案对比：

个人学习和小型知识库搭建，Chroma完全够用。项目上线后可以平滑迁移到Milvus或Qdrant。FAISS虽然最快但不支持持久化和过滤，更适合研究场景。

优化技巧：让RAG更好用

掌握了基础之后，以下几个优化技巧能显著提升效果：

1. 优化切分策略。 按语义而非固定字数切分。可以用Markdown的标题层级作为天然分隔符，或者用LangChain的MarkdownHeaderTextSplitter。对于代码文档，可以按函数/类来切分。对于FAQ类文档，按问答对切分。

2. 混合检索。 同时使用向量检索（语义匹配）和关键词检索（BM25精确匹配），两者结合覆盖面更广。LangChain的EnsembleRetriever可以一行代码实现混合检索。实测在技术文档场景下，混合检索比纯向量检索准确率高出15-20%。

3. 重排序（Reranking）。 检索返回的top-k结果，用Cross-Encoder模型重新排序，把最相关的排到最前面，效果提升明显。推荐使用bge-reranker-large模型，中文效果很好。

4. 优化Prompt。 在System Prompt中明确指示模型”仅基于提供的上下文回答，如果找不到答案就说不知道”，有效减少幻觉。更多Prompt技巧可以参考ChatGPT提示词技巧。

5. 元数据过滤。 给每个文档片段添加元数据（来源、日期、类别等），检索时先过滤再搜索。比如只搜索”2026年”的文档，或只搜索”财务”类别的文档。

RAG的局限性

RAG虽然强大，但也不是万能的。了解它的局限性能帮你更好地设计方案：

检索不等于理解：即使检索到了正确的文档片段，大模型仍然可能误解或错误综合多个片段的信息。特别是在涉及数值计算、逻辑推理的场景下，RAG的表现并不比纯大模型好多少。

长文档的”中间遗忘”：当检索结果包含很多片段时，大模型倾向于关注开头和结尾的内容，中间的信息容易被忽略。这就是所谓的”Lost in the Middle”问题。解决方法是限制检索数量（k=3-5），或者使用Map-Reduce策略逐个分析后再综合。

实时性要求：如果你的知识库更新非常频繁（比如股票行情、新闻），RAG的向量化过程会有延迟。每次文档更新都需要重新向量化并更新索引。对于实时性要求极高的场景，RAG可能不如直接搜索+大模型总结的方案。

多跳推理困难：如果一个问题需要跨越多个文档进行推理（比如”A公司的CEO和B公司的投资人是什么关系”），简单的RAG检索往往不够。这种情况需要Graph RAG或Agent方案来解决。

进阶技巧

当你已经跑通了基础RAG，以下几个进阶技巧能让你的知识库系统达到生产级水平：

多路召回策略：不要只依赖一个检索器。同时使用向量检索、关键词检索、知识图谱检索，然后用一个融合算法（如RRF倒数排名融合）合并结果。我在实际项目中用这个方案把准确率从78%提升到了92%。具体实现可以用LangChain的EnsembleRetriever，一行代码就能组合多种检索方式。

查询改写（Query Rewriting）：用户的原始问题往往不够精确。在检索前先用LLM对问题做改写和扩展。比如用户问”怎么退货”，改写为”退货退款流程、退换货政策、退货条件、退款时间”。这样可以召回更多相关文档。实现方式：在检索前加一步LLM调用，让模型生成3-5个改写后的查询，分别检索后合并结果。

父子文档策略（Parent-Child Retriever）：把文档切成小片段做检索（小片段语义更精确），但返回时给LLM看的是包含该片段的更大上下文（保留完整语义）。这个技巧在法律文档和技术文档场景中效果特别好。LangChain已经内置了ParentDocumentRetriever，开箱即用。

对话历史感知检索：在多轮对话中，用户的追问往往依赖上下文。把对话历史和当前问题合并后做检索，比如用户先问”产品A的价格”，再追问”那B呢”，系统应该理解”那B呢”其实是在问”产品B的价格”。实现方式：在检索前用LLM把追问改写为完整的独立问题。

评估和监控：搭建RAG后一定要建立评估体系。准备50-100个测试问答对，用ragas或trulens框架自动评估检索相关性、回答忠实度、答案完整度。每周跑一次评估，防止知识库更新后效果退化。我建议每次大量更新文档后都跑一次自动评估。

生产级部署建议：当你的RAG系统要上线生产环境时，注意以下几点：用Redis缓存高频查询结果减少API调用成本；设置合理的超时时间（一般10-15秒）；添加用户反馈机制（点赞/点踩）来持续优化检索效果；做好日志记录便于排查问题。

常见问题与解决

Q：检索到的内容不相关怎么办？ A：调整chunk_size大小，尝试不同的Embedding模型，增加检索数量k的值。还可以加入重排序步骤。

Q：回答不完整，只引用了部分内容？ A：增大chunk_size，或在检索时返回更多片段（增大k值），给模型更完整的上下文。

Q：想接入微信/飞书怎么办？ A：可以结合MCP协议完全指南中的工具调用能力，将RAG系统封装为API服务，再对接即时通讯平台。

Q：本地运行不想花钱调API？ A：Embedding用本地的bge-small-zh模型，大模型用Ollama部署的DeepSeek，完全免费离线运行。

Q：知识库更新后怎么重新索引？ A：Chroma支持增量更新。你可以写一个定时任务，每天检查文档变更，只对新增和修改的文档做重新向量化。

实际项目案例分享

案例一：医疗器械企业知识库。我去年给一家医疗器械公司搭建了RAG系统。他们有3000多份产品文档、操作手册和合规文件。之前员工平均每天花45分钟在文档检索上。搭建RAG后，通过飞书机器人接入，员工直接在群里@机器人提问，3秒内获得准确答案。上线三个月后统计，员工文档检索时间减少了80%，错误引用率从12%降到了2%以下。

案例二：律所合同审查助手。一个朋友在中端律所工作，他们把5000份历史合同和相关法律条文做成RAG知识库。律师上传新合同后，系统自动检索类似条款、标记风险点、建议修改方案。原来一份50页合同需要2小时人工审查，现在10分钟出初审报告，律师只需要复核和修改。这个系统上线后，律所的合同审查业务产能提升了4倍。

案例三：个人学习笔记助手。我自己的用法比较简单但很实用：把所有读过的技术书籍、博客文章、课程笔记（总共约2000篇Markdown文件）做成RAG知识库。学习新技术时直接问”这个框架和XX框架有什么区别”、“上次在哪看过关于WebSocket的笔记”，比自己翻笔记快了10倍。我把它封装成一个本地Web应用，每天使用频率非常高。

总结

RAG检索增强生成是目前最实用的AI落地技术之一。它不需要训练模型、不需要GPU，几十行Python代码就能让大模型基于你的私有文档准确回答问题。无论是搭建企业知识库、个人笔记助手还是产品FAQ机器人，RAG都是首选方案。

掌握了RAG之后，你可以进一步探索AI Agent，让系统不仅能检索知识，还能自主执行操作——这就是更高级的AI应用形态了。如果你想用RAG做更多事情，可以看看我们的AI工具合集2026和免费AI工具大全。

深度扩展阅读

本文涵盖的内容是AI领域持续发展的方向之一。如果想进一步了解相关知识,可以参考以下推荐阅读:

• 学AI完整路线图
• AI副业赚钱

推荐阅读

• RAG入门到：RAG入门到实战：2026搭建企业知识库
• Prompt Engineering：Prompt Engineering实战：让大模型听懂你的话
• RAG：RAG实战：搭建企业级AI知识库问答系统
• 开源大模型微调入门：开源大模型微调入门：LoRA/QLoRA实战