推文

@fireandstart · 2026-10-14 09:03

这条实验最有启发的地方，是把“学习率预热是否有用”从经验讨论推进到逐步观察：在小型 Qwen 的 GSM8K 微调中，作者为每一步寻找当步最优 LR，看到的形状支持了预热作为普遍实践的直觉。但这个结果也提醒我们要区分两个问题：单步贪心选择的最优值，和一整段训练中真正最优的学习率调度，并不是一回事。前者能帮助解释局部损失对步长的响应，却不自动等于更好的最终泛化；连续步骤之间的参数状态、动量、批次噪声和优化器状态都会改变后续选择。更有意思的是，这种逐步扫描如果每一步都要评估多个候选 LR，计算成本会迅速放大，作者也明确指出全局调度的搜索贵得多。因此我会把图看作机制线索和实验设计起点，而不是直接照搬的通用曲线：换模型规模、数据分布、batch size 或优化器后，曲线可能变样。若能在相同预算下对照固定 warmup、常规调度与少量自适应候选，并报告种子间波动及验证集结果，就能进一步判断局部最优轨迹究竟能否转化成稳定收益。

曝光 22 · 评论 1 · 点赞 0 · 书签 0 · 曝光/时 9.532074056869547