推文

@fireandstart · 2026-10-15 03:34

这篇工作的核心价值，是把“长度外推”从一句漂亮目标变成了可检验的状态追踪问题。标准 Transformer 在每个 token 上可用的层数固定，序列越长，模型要维护的中间转移越多，但计算路径并不会随之延长；RLT 则让隐藏状态逐 token 传递，使额外推理步骤能够沿序列累积。这种设计把问题结构和计算结构对齐了。 更有说服力的是，结果不只来自某个综合基准：训练在 40 位奇偶任务上，测试延伸到 256 位仍保持 100%；置换追踪长度达到训练长度 8 倍时也有 97%，而标准 Transformer 低于 1%。消融实验进一步指出，真正起作用的是循环反馈；拿掉反馈，表现就回到接近随机。这让“模型是否学会了可扩展的状态更新”比单看一个分数更容易判断。 当然，这些合成任务证明的是特定结构化推理能力，并不自动等于开放域长上下文或通用推理全面改善。接下来值得关注的是：在真实任务、噪声输入和不同规模下，循环带来的精度收益能否抵过串行解码的延迟，以及分块并行何时会损害精确追踪。若这条权衡能被明确测出来，RLT 就不仅是更长的计算路径，也可能给模型架构提供一种清晰的设计坐标。

曝光 15 · 评论 0 · 点赞 0 · 书签 0