推文

@Kay2289123 · 2026-10-17 01:23

微软这篇讲 3T 级模型预训练的技术博客，真的值得认真看，很少有人愿意把这么大的模型到底怎么训，讲得这么细、这么清楚。链接我放在后面 这次的模型叫 MAI-Base-2，由微软 MAI 团队自主训练，总参数 2.8T，每个 token 激活 80B。目前完成了预训练，后训练还在进行 几个我觉得值得分享的点 > 参数很多，每次只用一小部分。 总共 2.8 万亿参数，处理每个 token 时激活约 800 亿。这就是 MoE，按需要调用不同的“专家”，控制计算量。 > 先用小模型探路，再放大。 他们先训练一系列小模型，推算大模型的结果。连数据重复学几遍，都要和正式训练对齐。最后实际的训练误差和提前预测的非常接近，这个我觉得很厉害。 > 怎么调参，也摸出了规律。 比如学习率，可以理解成模型每次更新参数时迈多大一步。他们根据训练量、训练步数去推算，再到更大的模型上验证，减少正式训练时的试错 > 模型越大，训练稳定性越重要。 这次用了 Muon 优化器，还加了激活梯度裁剪，减少异常更新的干扰。后面这项改动很有意思，模型越大，带来的效率收益反而越明显。 > 从预训练就开始学图像。 总训练量是 50T token，其中约 9T 来自多模态数据，是原生多模态模型。 原链接：https://microsoft.ai/news/frontier-pre-training-at-microsoft-ai/

曝光 1672 · 评论 2 · 点赞 12 · 书签 9 · 曝光/时 2763.973094879649