推文

@fireandstart · 2026-10-13 04:04

这项工作的关键，不只是“加一张更大的表”，而是让新增记忆补充预训练模型已经学到的知识，并且能在有限的续训预算里真正学会调用。STAPLE 保留 FFN 投影、并行加入 token 索引嵌入，再配合可预测的访问和预取，把容量扩展与推理成本放到同一个设计里考虑。论文报告的 HumanEval、MBPP、GSM8K、DROP 提升值得关注；我尤其想看不同模型规模、数据分布变化下的消融结果，以及 CPU 内存访问延迟、缓存命中率和吞吐量的完整曲线。若这些收益能在独立复现中保持，“扩知识而不重训、又不把新增参数全塞进 GPU”才会成为真正实用的路线。

曝光 18 · 评论 1 · 点赞 0 · 书签 0 · 曝光/时 1.7211059835847278