推文

@vintcessun · 2026-10-14 12:21

单个弱奇异方向看起来像噪声，不代表它们合起来没用。Muon 的约94–97%模态低于噪声边缘，却整体与参考梯度正向对齐。 https://arxiv.org/abs/2610.07497 BulkBoost不逐个调方向，只给bulk相对spikes一个共享增益，并保持更新的Frobenius范数。30组持续预训练实验中，两种变体都优于Muon平坦谱配置，也能和更复杂的逐模态整形竞争。反直觉之处在于：优化器未必需要更精细的刻度，可能只需别把一群弱信号一起忽略。

曝光 19 · 评论 0 · 点赞 0 · 书签 0