TwKit
正在载入
TwKit

DeepSeek下一代大模型计划用华为昇腾芯片训练 DeepSeek V5 用昇腾做预训练,这条消息最容易被读成“国产替代又下一城”。但它真正刺中的,是一个… · @himsam181337 · TwKit

@himsam181337

DeepSeek下一代大模型计划用华为昇腾芯片训练 DeepSeek V5 用昇腾做预训练,这条消息最容易被读成“国产替代又下一城”。但它真正刺中的,是一个比替代更硬的问题:中国顶尖大模型,终于要在一个没有 CUDA 的软件栈上,从零开始“生”出一个模型,而不是把一个已经训练好的模型“搬”过去跑。 两者的难度差了一个数量级。推理是“用模型”,预训练是“造模型”。推理出问题,可以回滚、可以降级、可以换卡重跑;预训练跑到一半 loss 发散或者集群掉卡,烧掉的是几千万美元和几个月的时间窗口,没有 undo。此前昇腾在 DeepSeek 体系里的角色,从 2025 年春节的 3000 多张卡部署推理,到 2026 年 6 月河套团队用 910C 完成 V4-Pro 1.6 万亿参数全参数后训练——注意,是后训练,不是预训练——每一步都在逼近训练侧,但始终没有跨过“从随机初始化开始训一个前沿基座”这条线。V5 计划用昇腾 950 做预训练,是第一次把脚踩到这条线上。 为什么是现在?因为昇腾 950 的超节点规格,第一次让“系统级补偿单卡差距”在预训练场景里变得可操作了。 910C 的单卡 FP16 算力 800 TFLOPS,只有 H100 的 40%,显存带宽 1.8 TB/s,落后 H100 的 3.35 TB/s 约 46%。靠单卡硬追,短期内追不上。但昇腾 950DT 走的是另一条路:双 Die UMA 架构,144GB HBM,4TB/s 访存带宽,单卡互联 2TB/s,8192 卡超节点 FP8 总算力 8 EFLOPS,训练性能比上一代 Atlas 900 提升 17 倍。华为内部人士透露,实际率先落地的是 1024 卡规格——单柜 64 卡、16 柜组成 1 EFLOPS FP8 算力,今年 Q4 随 950DT 上市。1024 卡做预训练够不够,取决于模型规模和并行策略,但至少进入了一个可以“试”的区间,而不是像 910C 时代那样,预训练在工程上就不成立。 比硬件规格更关键的变量,藏在 9 月 30 日那批开源组件里。DeepSeek 把面向昇腾的 TileLang 编译器、DeepGEMM、FlashMLA、DeepEP 整套基础设施开源,和英伟达平台一一对应。TileLang 的底层逻辑不是“帮企业把 CUDA 代码翻译成昇腾版本”,而是让企业一开始就用 TileLang 写代码,芯片厂商各自完成一次后端适配,程序在运行时自动选择底层实现。DeepSeek 与华为在昇腾 950 上联合优化的 128 卡超节点方案中,稀疏注意力算子在读取阶段跑到 410 TFlops,达到硬件理论极限的 95%。95% 这个数字的意义不在于“追上了 H100 的百分比”,而在于它证明了一件事:在不依赖 CUDA 的编程范式下,昇腾的硬件性能可以被推到接近天花板的位置。 预训练最怕的不是单卡慢,是软件栈让卡“跑不满”。MFU 从 910C 后训练阶段的 30% 左右往上走,每提升一个百分点,对应的是实打实的训练时间和成本压缩。 但这条路上最大的裂缝,不在 DeepSeek 的代码能力,在昇腾的交付节奏和预训练对“确定性”的苛刻要求之间。 V5 目前仍处于选型阶段,产业链预判落地时间落在 2027 年上半年到下半年,核心研发对接团队常驻杭州,双方在 V4 阶段已完成大量底层算子适配和定制开发,但训练算力侧目前没有接入摩尔线程等其他国产方案。这意味着 V5 的预训练是一条单点依赖的路径:昇腾 950 超节点能不能在 2026 年 Q4 如期规模交付、1024 卡集群在数千卡并行下的线性扩展效率能不能稳住、长周期预训练中的故障恢复能不能做到“零中断”级别——910C 后训练做到了 1500+ 步零中断,但预训练的运行周期和故障暴露面完全不在一个量级。后训练的成功经验可以迁移,但不能直接外推。 V5 如果跑通,它验证的将不是“昇腾能训练大模型”——这件事河套的后训练实验已经部分回答了。它真正验证的,是 TileLang 这条“硬件无关的中间层”路线能不能撑起一个前沿模型的完整预训练生命周期。 如果撑住了,国产算力竞争的叙事会从“哪家芯片的 TFLOPS 更接近 H100”转向“谁的芯片对 TileLang 后端的适配更深、谁的超节点在长稳训练中更可靠”。CUDA 用了近二十年把开发者锁在它的软件栈里,而 DeepSeek 和华为正在赌的是:下一代模型的训练代码,可以不从 CUDA 开始写。V5 就是这个赌注的第一张真实赌桌。赌赢了,CUDA 作为“默认选项”的地位在中国 AI 训练侧出现第一道结构性裂痕;赌输了,裂痕会推迟,但方向不会变——因为英伟达在中国 AI 芯片市场的份额已经从 95% 掉到 8%,昇腾到了 50%,替代的推力已经不是一家模型公司的选择能逆转的了。

曝光 80 · 评论 0 · 点赞 2 · 书签 1

查看原帖