为什么要 RAG#

打个比方：LLM 考试时遇到陌生领域本想”放飞自我”，而 RAG 给了它提示和思路——正确率能从 60% 提到 90%。

图：只用 LLM 答题正确率约 60%，LLM + RAG 给到提示和思路后提升到 90%

RAG 是什么#

Retrieval-Augmented Generation（检索增强生成）：先从知识库里检索出相关资料，把资料作为上下文拼进提示词，再让模型生成答案。

整个流程：

1
本地文件（PDF/Word/TXT/二维表…）
2
   ↓ 文档加载器 Unstructured Loader
3
   ↓ 文本切分 Text Splitter  →  Text Chunk / Text Chunk / Text Chunk
4
   ↓ 嵌入模型 Embedding Model →  向量嵌入 Vector Embeddings
5
   ↓ 存储 & 索引 Store & Index →  向量数据库 Vector Database
6

7
用户提问 User Query
8
   ↓ 嵌入模型 → 向量嵌入
9
   ↓ 相似度搜索 Similarity Search（在向量数据库里找最相似的向量）
10
   ↓
11
Prompt = 检索到的 Context + User Query  →  LLM  →  回答

三步的对应关系：检索 = 从库里找相关资料；增强 = 把资料拼进提示词；生成 = 模型基于资料作答。

图：RAG 的完整链路（15 步）——本地文档加载 → 文本切分 → 嵌入模型向量化 → 存进向量库；查询侧再向量化 → 向量相似度检索 → 取出相关 chunk 交给提示词模板 → LLM 生成答案

三步在流程图里的位置（第 10 / 13 / 15 步）#

课程把”检索、增强、生成”三步钉在了具体的步号上——检索可以理解为第 10 步，增强理解为第 13 步（这里的提示词包含检索到的数据），生成理解为第 15 步（对应上面这张 15 步流程图）。

换成 9 步流程图的粒度，同一件事是这么分布的：

四个难点#

图：RAG 的两条链路——知识更新（文件解析 → 文件切割 → 向量化 → 知识入库）与知识检索（query 提问 → 知识检索 → 知识重排序 → 增强 → 生成）

Reranker（重排器）：RAG 应用中文档数量增加会让召回准确率下降，引入 reranker 可以对初步召回的较多 chunk（如 top 20 / top 50）做精排，提高准确率，避免 LLM 处理无关信息。

Agent 是什么#

充分利用 LLM 的推理决策能力，通过增加规划、记忆和工具调用的能力，构造一个能够独立思考、逐步完成给定目标的智能体。这个架构由 OpenAI 的翁丽莲（Lilian Weng）在 2023-06 的博客中首次提出。

用一个公式表示：

1
Agent = LLM + Planning + Tools + Memory + Action

图：AI Agent 架构总览——智能体居中，连着记忆（短期记忆 / 长期记忆向量数据库）、工具（日历、计算器、代码解释器、搜索…）、行动，以及规划决策（反思、自我批评、思维链、子目标分解）

通俗类比——“打车去西藏玩”：

• 规划：先规划路线，再订酒店、订饭店……
• 调用工具：通过 Function Calling / MCP 调滴滴、携程、美团
• 记忆：聊到订酒店时得知道是”西藏路上的酒店”，不能聊着聊着忘了最初目的地
• 行动：真去执行，不能纸上谈兵

图：更朴素的类比——原始人靠”决策能力 + 记忆能力”才能造出长矛、鱼钩这些工具，进而钓鱼、烤鱼；智能体也是”会用工具”才谈得上解决问题

五个核心要素#

图：规划决策的实例——把问题交给带”研究”模式的大模型搜索（秘塔 AI 搜索），先提问再让它自己拆步骤

图：思维链与子目标分解的真实样子——模型先把任务拆成”步骤”，再逐个补齐定义、背景、功能、场景、指标对比等子任务，这就是 Planning

图：工具使用与行动——大模型（如 DeepSeek）充当”大脑”，通过调用工具驱动机器人完成叠积木这类物理任务

智能体的完整工作流程#

课程把智能体跑完一个任务的完整计划流程写了出来——先读取以前工作的经验和记忆，之后规划子目标并使用相应工具去处理问题，最后输出给用户并完成反思。

另外，前面”打车去西藏玩”的类比里其实还有一个开头就被点名的角色：大脑中枢——规划行程的你。上面那四件事（规划、调用工具、记忆、行动）都挂在它下面，讲的是同一个意思——智能体要像办事的人一样，先拿主意，再动手，还得记得住。

短期记忆 vs 长期记忆#

图：短期记忆的直观例子——模型记住了上一轮刚生成的表格，用户只说”按品牌分组重新排列一下”，它就直接照做

各家模型的上下文窗口（课程给出的数字）#

百万级窗口已经是主流，但有上限就装不下无限的历史：短期记忆受窗口限制，跨会话的偏好与经验（长期记忆）仍然要靠模型参数微调、知识图谱或向量数据库来存。

怎么选#

面对一个需求，从成本最低的方案开始试：先纯 Prompt（改提示词能解决就不写代码）→ 不够就上 RAG（缺知识）或 Agent + Function Calling（要动手）→ 还不行才考虑 Fine-tuning（成本最高）。

图：技术选型的常用思路——先用测试数据以对话应用验证可行性，再依次问”要不要补充知识（RAG）→ 要不要对接其它系统（Function Calling）→ 值不值得用历史数据微调（Fine-tuning）“，都不需要就直接交付

一、知识回顾（读完直接做下面的实践题）#

1. 大模型应用的技术特点是门槛低、天花板高；门槛最低的形态是纯 Prompt，往上依次可以加外部知识（RAG）、加工具与行动能力、加多智能体协作
2. RAG 要治的两个毛病：知识冻结（无法实时学到最新信息，答不了”现在热门影片”这类问题）与幻觉（没学过也不说”不知道”，转而臆想编造）；课程打的比方是正确率从 60% 提到 90%
3. RAG 全称 Retrieval-Augmented Generation，中文检索增强生成；三步分别是检索（从库里找相关资料）、增强（把资料拼进提示词）、生成（模型基于资料作答）
4. RAG 的链路：本地文件 → 文档加载器 → 文本切分（切成 Text Chunk）→嵌入模型（转成向量嵌入）→ 存进向量数据库；用户提问也要先向量化，再做相似度搜索，最后 Prompt = 检索到的 Context + User Query 交给 LLM
5. 三步在 15 步流程图里的位置：检索是第 10 步、增强是第 13 步、生成是第 15 步；换成 9 步图就是上下两条链——知识更新（解析→切割→向量化→入库）与知识检索（提问→检索→知识重排序→增强→生成）
6. RAG 四个难点：文件解析（PDF 里还有图片、表格、图上的文字）、文件切割（切多大、在哪切都影响效果）、知识检索（文档一多召回准确率下降）、知识重排序（对初步召回的结果再精排）；针对最后一条，Reranker 对初步召回的较多 chunk（如 top 20 / top 50）做精排（重排序），适合高精度、高相关性要求高的场景（专业知识库、客服系统），不适合响应时间要求高的服务（会增加召回时间与检索延迟），成本比普通矢量搜索贵
7. Agent 的公式：Agent = LLM + Planning + Tools + Memory + Action；这个架构由 OpenAI 的翁丽莲（Lilian Weng）在 2023 年 06 月的博客中首次提出
8. Agent 五个核心要素：LLM 作为**“大脑”、规划决策、工具使用、记忆、行动；跑完一个任务的完整流程是”先读取以前工作的经验和记忆** → 规划子目标并使用相应工具处理问题 → 输出给用户并完成反思”
9. 短期记忆存单次对话周期内的上下文、受上下文窗口长度限制；长期记忆可以跨多个会话或时间周期，实现方式是模型参数微调、知识图谱、向量数据库；上下文窗口方面 ChatGPT 约 8k、GPT-4 约 32k、Claude Opus 4.7 约 200 万、DeepSeek-V4-Pro 约 100 万，更大的模型已支持 1000 万 token
10. 四种开发场景：纯 Prompt（Prompt 是操作大模型的唯一接口）、Agent + Function Calling、RAG、Fine-tuning（精调）；选型从成本最低的方案开始试，不行再上 RAG 或 Agent + Function Calling，最后才考虑成本最高的 Fine-tuning

二、概念自测#

• 2-1 RAG 的三步在干什么？ 用自己的话讲清”检索、增强、生成”分别负责什么，并说明它为什么能治幻觉。

  提示（先自己想，实在想不出再点开）

  一级 · 思路：按”找资料 → 把资料塞进提示词 → 让模型看着资料回答”的顺序说 二级 · 角度：治幻觉的关键在于”模型是凭记忆编，还是看着依据答” 三级 · 骨架：检索 = 问题向量化后在向量库里找最相似的片段；增强 = Prompt = ____ + ____；生成 = 模型基于资料作答

• 2-2 查天气为什么必须用 Agent + Function Calling？ 为什么只靠 Prompt 做不到，必须让模型”动手”？

  提示（先自己想，实在想不出再点开）

  一级 · 思路：先判断”天气”属于哪一类信息 二级 · 角度：实时数据 + 需要执行动作，两件事缺一不可 三级 · 骨架：纯 Prompt 只能回忆或编造 → Agent 负责规划”该调用哪个工具”，Function Calling 负责真的执行并把结果交回模型

• 2-3 内部制度问答助手怎么选型？ 公司要做”内部制度问答助手”，资料是一堆 PDF。你会从哪个场景开始试？为什么不是直接 Fine-tuning？

  提示（先自己想，实在想不出再点开）

  一级 · 思路：制度文档属于”需要补充的领域知识”，且会不断更新 二级 · 角度：对比一下”换文件”和”重新训练”的成本 三级 · 骨架：RAG 起手 → 切分检索即可；Fine-tuning 成本最高且制度一改就要重训

• 2-4 该不该加 Reranker？ 某客服系统上线后被投诉”回答太慢”，同时团队觉得检索准确率还能再提。有人提议加 reranker，你同意吗？请用正文的取舍标准给出结论。

  提示（先自己想，实在想不出再点开）

  一级 · 思路：reranker 是”用时间换准确率”的手段 二级 · 角度：对照正文里”适合 / 不适合”两栏，看这个场景同时踩中了哪两条 三级 · 骨架：reranker 提高召回准确率（适合客服这类高精度场景），但会增加 ____ 与 ____——两个诉求冲突时，先确认瓶颈到底在哪一边