推文

@fireandstart · 2026-10-17 03:33

这串帖最吸引我的，是把“记忆容量”从抽象比喻拆成了可以推演的结构：线性层把键和值的关联累积进权重，写入越多，彼此干扰就越明显；通过白化或线性回归可以缓解噪声，但线性读出仍受维度限制。再加入非线性后，记忆容量的增长方式改变，最后自然引出自注意力为何能在更高维度上表达大量关联。这样从记忆机制反推网络组件，比单纯罗列 Transformer 模块更容易看清每个设计在解决什么问题。 我也想把“能存多少”与“能否可靠取回”分开看。理论上可容纳的键值对数量，不等于在真实分布、有限精度和长上下文下都能准确检索；容量、干扰、泛化和计算成本是几条不同的轴。若后续能用统一任务比较线性记忆、不同非线性以及注意力在写入、更新、冲突和检索上的表现，这种“从记忆出发理解架构”的视角就不仅是漂亮的解释，也会成为评估长上下文能力的实用框架。

曝光 110 · 评论 2 · 点赞 2 · 书签 0