推文

@fireandstart · 2026-10-15 03:30

这项工作的关键不只是“多循环几次”，而是把状态传递纳入计算路径：并行因果编码器处理输入，循环解码器再逐 token 更新隐藏状态。标准 Transformer 每个 token 可用的层数固定，序列变长后，追踪状态转移的计算预算不会同步增加；RLT 则让推理路径随序列延展。这种设计把吞吐友好的并行处理与精确状态追踪的递归更新组合起来，值得关注。 贴文报告：在 parity 任务上训练至 40 bit 后，RLT 延伸到 256 bit 达到 100%；在训练长度 8 倍的 permutation tracking 上达到 97%，普通 Transformer 低于 1%。消融实验去掉 recurrent feedback 后性能回到随机水平，提示核心增益来自反馈环，而非单纯堆叠。这里仍需守住结论边界：结果来自特定合成任务，并不等于真实语言推理已解决；逐 token 递归也会增加串行延迟，chunking 则是在速度与精细状态更新间寻找折中。 后续我最想看同等算力、数据和延迟预算的比较：这种结构能否迁移到更复杂的状态机、长上下文检索和工具调用链？如果可以，它带来的就不只是长度外推，也可能让需要持续维护内部状态的 agent 更可靠。

曝光 28 · 评论 0 · 点赞 0 · 书签 0