推文

@prolibertine · 2026-10-16 17:02

Mustafa Suleyman 那条已经快 90 万曝光了。微软 AI 把 MAI-Base-2 预训练细节摊开了：MoE，总参 2.8 万亿、激活 800 亿；8 到 9 月用 1.6 万张 GB200 跑了 38 天，平均 MFU 21%，有效训练时间大概 89%。训练混合大约 50 万亿 token，相对 Base-1 独特语料大约涨了 36%；原生带视觉，视觉独特 token 4.5 万亿，占混合大概 18%。官方强调全是 organic、不做蒸馏，自家 held-out 上压过测过的开源权重模型，相对 DeepSeek-V4-Pro-Base 预训练 FLOPs 效率自称 4.2 到 12.3 倍，相对自家 Base-1 配方是 6.3 到 12.7 倍。 这组倍数其实是他们用缩放曲线估出来的，不是两边并排同一套集群硬比。文里还提了以后可能通过 Foundry 把权重授权给可信伙伴，眼下还在 post-training，Base-3 也在准备。预训练白皮书写得细，不等于 agent 能直接上手干活——底座有了，验收和写权限还在后头。

曝光 4 · 评论 0 · 点赞 0 · 书签 0 · 曝光/时 1.9980762743638898