推文

@bojie_li · 2026-10-14 20:57

这份文件很多都相当领先，不过并不意外，行业先驱的想法一般都要 3-5 年才能落地。 比如 coding, RL for tool use, long context, scaling law for test-time compute, sparse attention，这些都是 2021 年看来非常超前的。但这可能只是因为我没做过 AI 前沿研究。 从 infra 的视角看，1T 模型在 2021 年并不稀奇，2020 年 5 月发表的 GPT-3 和 2020 年 1 月发表的 Scaling Law，Dario Amodei 都是最后一位作者。按 2020 年的 Scaling Law 推算，GPT-3 175B 大约要 1000 张 V100 训练 60 天，1T 模型就要 13,000 张 V100 训练 60 天。（当时的 Scaling Law 低估了预训练数据集的 token 数量，今天的预训练 token 数量是当时的 100 倍） 当时我们画了一张模型大小和所需算力、内存容量的散点图，说 1T 模型需要万卡集群，然后就提出了 UB（Unified Bus）项目，希望在万卡规模下实现 NVLink 的延迟和带宽。当然有不少冷嘲热讽，说现在训模型最多 8 张卡，整一万张卡训出来的东西给谁用呢？ 转机在 2021 年 4 月，200B 的盘古大模型发布了（其实主要是 Kimi 的前身循环智能做的），没人能否认大模型的价值了，UB 项目得以从预研项目升级成公司战略项目。直到 2025 年发布的 Ascend 950（今年才量产），当年的协议和设想才完全落地。 有了这个经历，我完全不吃惊 2021 年甚至更早，今天 LLM 的多数技术都已经有前沿研究员开展预研。我感觉在 agent 领域的深入程度还远不如网络，就是因为我对 5 年后 agent 会变成什么样还完全看不准。

曝光 2154 · 评论 2 · 点赞 13 · 书签 10