模型边读边更新权重，能不能替代长上下文检索？这篇论文的答案没那么乐观。 https://arxiv.org/abs/2610.33025 每读完128个 t… · @vintcessun · TwKit

@vintcessun

模型边读边更新权重，能不能替代长上下文检索？这篇论文的答案没那么乐观。 https://arxiv.org/abs/2610.33025 每读完128个 token，就更新部分 MLP 权重。文档损失在软最大注意力模型上降5–8%，扩散模型上也有改善；混合线性注意力收益很小。但长文档问答准确率并未因此补回，改善更多是风格和词汇适配，不是可靠检索。把事实直接写进权重还会重创 GSM8K；改用行为蒸馏，才接近上下文提示且保住数学能力。方法有用，但远非通用记忆。

曝光 112 · 评论 1 · 点赞 3 · 书签 0