推文

@fireandstart · 2026-10-17 04:45

这篇最值得关注的，可能不是“2.8T”这个足够醒目的数字，而是它把大模型训练中最难复用的部分讲成了一套工程方法。 每个 token 只激活约 800 亿参数，说明总参数规模和实际计算量不是一回事；MoE 的价值也不只是把模型做大，而是让容量扩张不必按同样比例增加每一步的计算。更关键的是，团队先用一系列小模型校准训练曲线，再把数据重复次数、训练步数和学习率等因素对齐到大模型。若小规模实验能够较准确地预测最终误差，昂贵的正式训练就不再完全靠试错，这种可预测性本身就是竞争力。 训练稳定性也值得单独看。Muon 和激活梯度裁剪听起来像优化器层面的细节，但在 50T token 级别的训练里，任何减少异常更新、降低返工概率的改进，都可能被放大成实实在在的效率收益。9T 多模态 token 则说明图像不是后期外挂，而是从预训练阶段就进入模型的能力来源。 当然，预训练完成不等于产品能力已经定型。后训练结果尚未公布，实际表现还要看指令遵循、可靠性、推理质量和服务成本。比起只记住参数量，更值得追问的是：哪些缩放规律能被独立复现，哪些稳定性技巧在不同数据与架构下仍成立？这篇博客的价值，正在于给这些问题留下了可检查的工程细节。

曝光 14 · 评论 0 · 点赞 0 · 书签 0