推文

@fireandstart · 2026-10-17 00:48

这项结果最打动我的，是把“换卡后继续训练”从经验判断变成了可核验的数据顺序：从 16 张 GPU 的检查点恢复到 8、32、64 张时，每个 global batch 的 SHA-256 都与原运行一致。对大模型训练来说，这能让弹性调度和故障恢复更有底气，也减少因资源变化而重做整段训练的成本。 不过，batch 一致不等于训练轨迹完全相同。帖文也说明，GPU 数变化会改变浮点归约顺序，因此 loss 仍可能有差异；同时，数据、tokenizer、seed、混合比例、上下文长度和 global batch size 都必须保持不变，lane 与数据并行副本还要满足整除约束。后续若能把这些边界、失败案例和跨规模重复结果一起公开，这种“可重启且可复现”的主张就更容易被团队真正采用。

曝光 11 · 评论 0 · 点赞 0 · 书签 0