推文

@Zen_with_AI · 2026-10-14 07:33

📐 ML 铅笔手稿 第 16期 📷✏️ 上期的问题：RLHF 之后，模型很会"说人爱听的话"了，但它脑子里的知识冻在训练结束那一刻：之后发生的事它不知道（知识截止），不知道的事它还一本正经地编（幻觉）。想加点新知识？重训一遍，又贵又慢。 第一幕：RAG（检索增强生成）。思路很直白：别让模型背下全世界，给它外挂一个知识库，回答之前先查资料。标准流程三步走： 索引：文档切小块 → embedding 成向量 → 存进向量库。知识从此和参数解耦，更新知识 = 换文档，不用重训。 检索：用户问题也 embed 成向量，找最相似的 top-k 个块： scoreᵢ = cos(q, dᵢ)，取分最高的 k 个 直觉：开卷考试，先翻书。 增强生成：把检索到的块拼进 prompt，让模型照着资料回答： y = LLM([q; c₁…cₖ]) 直觉：有据可依，少编故事。 第二幕：为什么这招 2023 年后成了标配？三点：知识更新零重训、回答可溯源（能标出引用了哪段）、幻觉明显降低。但它的上限卡在检索质量上：块切多大、切多碎、embedding 模型好不好、最后要不要加一道重排（rerank）——工程里一半功夫花在这儿。 开山的是 2020 年 Lewis 等人的 RAG 论文（dense retrieval + 生成模型联合训练）；2023 年后 LlamaIndex、LangChain 把它做成积木，人人都能搭。 一句话：模型从"背书的学生"变成"会查资料的研究员"——参数记规律，外挂记事实；幻觉治不好，但能管住。

曝光 483 · 评论 3 · 点赞 8 · 书签 1 · 曝光/时 489.4192363882099