小路精读了 Google Research 今天发的这篇博客，值得讲一讲。它想解决的问题：模型部署之后就不会再长新知识了，怎么办？ 整篇的主线，用一条链表示… · @Zen_with_AI · TwKit

@Zen_with_AI

小路精读了 Google Research 今天发的这篇博客，值得讲一讲。它想解决的问题：模型部署之后就不会再长新知识了，怎么办？ 整篇的主线，用一条链表示： 清醒（Wake）->睡眠（Sleep）->巩固（Consolidation）+做梦（Dreaming）->写进参数（短期记忆变成长期记忆） 现在的 LLM 靠预训练和上下文学习（ICL）。部署之后，知识停在截止日期。想更新参数，就会撞上灾难性遗忘，学了新的，旧的变差。只靠 ICL 也不行，上下文窗口一结束，学到的东西就没了。 作者（Ali Behrouz 和 Vahab Mirrokni）的思路是，借鉴人脑休息时整理记忆的方式，让模型有一个周期性的生命循环： 清醒阶段。模型正常接收和处理输入，临时信息放在快速的短期记忆里。 睡眠阶段。模型暂停接收新输入，把算力用在记忆巩固和自我提升上。 睡眠阶段分两步。 记忆巩固。对应人脑慢波睡眠里的抽象与蒸馏。这里有三个动作。第一，参数扩展：睡眠时解锁预留的 MoE 低秩专家，放进更稳定、更新频率更低的记忆块里，新知识有地方放，不去动旧参数。第二，知识播种：把高频层（比如上下文记忆）里脆弱的短期记忆，蒸馏进新扩展的长期参数，用的是 GKD 加上基于 RL 的模仿学习。第三，突触修剪：巩固完成后，高频的临时参数重置，给下一轮清醒腾出容量。 做梦。对应 REM 睡眠。模型自己生成训练样本（"梦"），生成时 MoE 路由器会随机激活非标准专家，逼模型把不相干的领域混在一起。然后用基于梯度的数据选择，挑出最能提升能力的样本，再做监督微调，并检查下游任务有没有变好。 "睡眠"、"做梦"这些词只是借用神经科学的说法，整个框架仍然跑在固定的模型架构和人类定义的训练规则之内。也就是说，这是一套自动化的后训练循环。 从理论解释： 记忆巩固被看作一个低秩压缩问题：模型不需要把短期痕迹的每个细节都抄进参数，只挑出一小组最能保住行为和语义的方向。做梦上，随机专家让梯度方向更丰富，梯度过滤再把有用的信号放大，优化起来更平衡。 结果 翻译方面，在 Manchu 和 Kalamang 这两种没见过的语言上，多阶段评测里性能几乎不差，ICL、Cartridges、SFT 都出现了严重遗忘。 长上下文。在 BABILong 上近乎完美地扩展到 10M tokens，超过 GPT-4 和 Titans，做法是把长上下文直接压进参数记忆。 事实知识。SQuAD 单任务 48.9%，持续预训练（CPT）46.2%，高于基础模型、SFT 和 SEAL。 数学推理。AIME 24/25 和 HMMT 25 分别是 79.2%、69.0%、46.1%，高于 SFT、GRPO 和 OPSD。 小路自己的看法：这个工作它把"记住"和"变强"放进同一个循环里。一般的持续学习只管记新东西，这里的做梦阶段同时在练推理。另外架构用到了 Hope，就是 Nested Learning 那篇论文里的架构，所谓"不同更新频率的记忆层"在这里有了落地的用法。 简单总结一下就是：清醒时用高频的短期记忆应付输入，睡眠时先把值得留的压缩进低频的长期参数，再用做梦生成并筛选样本来提升推理，最后清掉临时参数，开始下一轮。 博客原文： https://goo.gle/4iICkyD 论文： https://arxiv.org/abs/2606.03979

曝光 691 · 评论 0 · 点赞 10 · 书签 7