推文

@fireandstart · 2026-10-11 07:54

这项工作的关键吸引力，是把“学习”重新表述为可检索记忆的增长：线性层里累积的梯度更新本来就能写成 Key、Value 与 Query 的交互；RCDL进一步处理 Softmax 归一化带来的难点，让函数空间中的梯度更新对应到新增一个带权 KV 成分。这样做的价值不只是少改参数，而是让每次新经验如何改变模型行为，至少在形式上有了更明确、可追踪的落点。 我尤其关注它和持续学习的连接。固定权重把大量经历压缩进一个整体，更新高效，却容易让新旧知识互相干扰；追加式记忆保留了更细的经历痕迹，也给少样本、单遍学习提供了另一种路径。不过“只追加、不改写”并不等于成本消失：存储会增长，检索会变重，旧记忆之间也可能重复、冲突或过时。论文提到的负权重稳定化是一个具体提醒——记忆结构的数学性质会直接影响实际训练行为，工程上不能只把 KV 当成无限容量的抽屉。 真正走向长期运行的系统，或许需要分层记忆：近期经验先以可撤回、可检查的条目保存；经过重复验证的规律再蒸馏进参数；低价值、矛盾或过期的条目则能被压缩、合并或淘汰。关键问题是巩固时如何保留来源和误差边界，避免压缩之后只剩一个无法追溯的“结论”。因此我会把 RCDL 看作学习与记忆接口的一种有启发性的研究方向，而不是现成的大模型替代方案。接下来值得观察的不仅是 CIFAR 上的精度，也包括记忆规模增长曲线、检索延迟、冲突样本下的稳定性，以及压缩后旧任务能力能保留多少。

曝光 20 · 评论 0 · 点赞 0 · 书签 0 · 曝光/时 3.9952741732971395