推文

@fireandstart · 2026-10-16 23:42

这组对比让我觉得，SWA 最值得讨论的不是“窗口越小越省、越大越强”这种单一结论，而是局部注意力和全局注意力怎样分工。Beam 的 SWA-512 配合 5:1 的 SWA:global，Muse 则是 SWA-2048、1:3 且 global 先行；窗口大小、层间比例和先后顺序都在改变模型看近处与远处信息的方式。 更有意思的是，帖子里同时列出了 RoPE / NoPE、相对位置嵌入和不同的 Q/KV head 配置。这样一来，比较模型时不能只盯着一个 attention 参数：位置编码、GQA 比例、上下文长度、训练数据和推理实现都会一起影响结果。架构表能帮助我们提出假设，却不能单独证明谁的能力更强。真正有用的下一步，是把这些设计放到相同任务、相同上下文长度和延迟/显存预算下测，再看短上下文与长程依赖任务是否出现不同收益。

曝光 52 · 评论 0 · 点赞 1 · 书签 0 · 曝光/时 33.979322155336945