持续学习遇到的两个问题：只把新信息放进上下文，通常只能保留到当前会话；持续更新参数，又可能损伤旧任务能力。Sleep 框架把学习拆成“接收信息”和“离线巩固… · @BaiBtw · TwKit

@BaiBtw

持续学习遇到的两个问题：只把新信息放进上下文，通常只能保留到当前会话；持续更新参数，又可能损伤旧任务能力。Sleep 框架把学习拆成“接收信息”和“离线巩固”交替进行： ① 活跃期与睡眠期 活跃期接收输入，先存入快速短期记忆；睡眠期暂停处理新输入，把计算转向记忆整理与训练。这里的“睡眠”是训练流程的比喻：架构和规则由人设定，通过解锁预分配的 MoE 记忆块、更新数值权重工作，不涉及模型自行改写代码或设计。 ② 巩固：扩容、蒸馏、再清理 框架结合 MoE 与 Hope 的记忆层级，把新解锁的低秩专家接入更新频率较低的长期记忆模块，减少写入新知识时对旧参数的干扰。 知识迁移使用两类信号：on-policy 蒸馏让学生在自己采样的序列上学习教师的逐 token 分布；LTI 则对续写的语义相似性和编辑距离给予反馈。巩固完成后，重置高频临时参数，留出接收下一批信息的空间。 ③ “做梦”：生成后还要筛选 合成样本时随机激活非通常路由的专家，组合不同知识；再用基于梯度的数据选择筛出更有训练价值的样本。高评分样本用于监督微调，并检查下游任务表现。 理论部分把巩固视为有结构的低秩压缩：保留能维持生成行为和任务语义的方向，而非逐字存下所有短期内容；随机路由与筛选则用于拓宽、平衡学习的梯度方向。 ④ 结果要按任务和指标分开 • 类别增量学习图中，Sleep 在 CLINC、Banking、DBpedia 的准确率分别为 97%、92%、89%；不加睡眠的 Hope 为 93%、84%、82%。 • 连续翻译图以 ChrF 衡量，不能当成准确率。学习两种语言后，Sleep-3 的满语→英语为 23.9，Kalamang→英语为 38.1。 • BABILong 实验报告可扩展到 1000 万 token，信息通过睡眠期压入参数记忆；这不等于一次推理直接容纳同样长的原始上下文。 • 事实知识实验的单任务与继续预训练设置分别报告 48.9% 和 46.2%；数学基准 AIME 24、AIME 25、HMMT 25 分别为 79.2%、69.0%、46.1%，不能混成一个通用能力分数。 核心思路是把短期信息迁入长期参数，并穿插筛选后的合成练习。以上是研究方在特定设置下的报告，未作独立复测；不能据此推成任意模型都能永久记忆或绝不遗忘。流程还需要暂停新输入并进行额外训练，文章没有给出可直接推广到部署场景的统一成本结论。

曝光 70 · 评论 1 · 点赞 0 · 书签 0