推文

@alanchen · 2026-10-16 05:19

微软今天交了一份挺硬的作业。 $MSFT 微软 AI 发了技术博客，说新的基础模型 MAI-Base-2 预训练做完了。混合专家架构，总参数2.8万亿，每次实际用到的大约800亿。用了1.6万块 GB200，8到9月跑了38天，喂了50万亿个 token。苏莱曼发帖说，这是微软 AI “完全自己做”的、3万亿参数量级的最强基础模型。 先说一下基础模型是什么。它是读完海量文字之后的“底子”，会接话、会续写，但还没学会听指令、好好聊天。大家平时用的聊天模型，是在这个底子上再做后训练调出来的。微软说 MAI-Base-2 现在还在后训练，结果很快公布。所以眼下谁也用不上它。 微软强调了两点。一是数据全是自己处理的，没有从别家模型蒸馏。二是正因为来源干净，以后可以通过 Foundry 把模型权重授权给信得过的企业客户。至于“超过所有测过的开源模型”，那是微软用自己的评测集测的，外面还没人复现。 我的看法是，这是微软在给自己找一条不完全依赖 OpenAI 的路。等后训练版本出来，跟 GPT 放在一起比，才知道这条路走不走得通。

曝光 3637 · 评论 4 · 点赞 18 · 书签 1 · 曝光/时 1440.6528085088844