DeepSeek 计划用华为昇腾预训练 V5。 这条消息里，我觉得最关键的是"预训练"这三个字。 推理跑在国产卡上，早就有人在做了。DeepSeek 新模型… · @tvytlx · TwKit

@tvytlx

DeepSeek 计划用华为昇腾预训练 V5。 这条消息里，我觉得最关键的是"预训练"这三个字。 推理跑在国产卡上，早就有人在做了。DeepSeek 新模型发布当天，昇腾就宣布完成适配，这种事已经不新鲜。 预训练难得多。 几千上万张卡连续跑几个月，中间哪张卡掉了、通信慢一点、软件栈冒个 bug，整轮训练可能就得回滚重来。 去年就有报道说，DeepSeek 试过用昇腾训 R2，稳定性一直搞不定，最后训练还是回到英伟达，昇腾只拿来做推理。 据说这也是 R2 一拖再拖的原因之一。 英伟达在中国最硬的那道墙，一直在训练这一环。 CUDA 生态、大集群的稳定性、别人多年踩过的坑，推理可以换卡，训练很难换。 一家前沿实验室把下一代旗舰的预训练放到昇腾上，如果真跑通了，这道墙就开了个口子。 为什么是 DeepSeek，我觉得也不意外。 这帮人一直在干"用更差的卡干更多的活"：MoE、FP8、自己抠底层通信效率。 V3.1 那会儿，他们就专门提过一种精度格式，说是为即将发布的下一代国产芯片设计的。 伏笔一年前就埋好了。 当然现在还只是"计划"。 训完了、效果还在第一梯队，才算数。 要是 V5 又开始延期，大概率就是老问题又回来了。 V5 发布那天，我可能先不看跑分，先去技术报告里翻它用了多少张卡、跑了多久没崩。 说实话，这玩意比跑分有意思多了。 https://x.com/jukan05/status/2117540499712352336

曝光 495 · 评论 6 · 点赞 2 · 书签 1