用过大模型的人都有体会：把文档、规则或经验塞进提示词，模型立刻变聪明；一清空对话，这些增益全部消失。这就像租来的临时内存，用完即还。 常见的补救办法各有短板… · @Zen_with_AI · TwKit

@Zen_with_AI

用过大模型的人都有体会：把文档、规则或经验塞进提示词，模型立刻变聪明；一清空对话，这些增益全部消失。这就像租来的临时内存，用完即还。 常见的补救办法各有短板。外部记忆（比如 RAG）靠检索，把相关内容再塞回提示，但"间接相关"的信息容易被漏掉。直接微调把知识写进权重，又可能伤到模型原有的能力，也就是所谓"灾难性遗忘"。 字节和浙江大学等团队的论文《Cortex》，提出了第三条路：记忆巩固，让模型把上下文带来的好处内化，之后不需要上下文也能用。灵感来自大脑，海马体先快速记录新经验，再逐步转入新皮层形成长期记忆。 具体做法有三步。 第一，先想清楚会考什么。 让模型自己设想"这段资料以后可能被用在哪些问题上"，生成问题，并在有资料的条件下作答，作为学习目标。 第二，只改"记忆仓库"。 研究者把改动限制在前馈网络（FFN）层。一种方式是在已有权重上加小幅低秩修改，另一种是给 FFN 增加少量新通道，原有权重保持不动。两者都能折叠回标准模型，不需要额外模块。 第三，让"无上下文的学生"模仿"有上下文的老师"。 学生看不到资料，只训练新增的小部分参数，老师是带资料的原模型。后续更新时，还会重放以往的问题，用更新前的模型重新生成答案，不必保存旧资料。 效果如何？在一个 14B 模型上连续做 50 次事实编辑后，Cortex 的结构式变体恢复了约 88.9% 的上下文增益，同时保留 99.8% 的原有非目标性能。同类编辑方法中最强的基线只恢复了 28.5%。 但它并非万能。论文自己也指出，知识抑制任务会伤及相邻知识；批量写入时效果会下降；更新后的事实虽然能答对，用它做进一步推理的能力还有限。消融实验也显示，不做历史重放，早期编辑会被明显冲掉。 https://arxiv.org/abs/2610.20399

曝光 427 · 评论 0 · 点赞 2 · 书签 2