DeepSeek V4 把显存占用砍掉 10 倍，顺手帮国产芯片把最难的一关过了。 这次发了两个开源模型，都支持 100 万上下文。大号 V4-Pro 是 … · @tvytlx · TwKit

@tvytlx

DeepSeek V4 把显存占用砍掉 10 倍，顺手帮国产芯片把最难的一关过了。 这次发了两个开源模型，都支持 100 万上下文。大号 V4-Pro 是 1.6 万亿参数（每次激活 490 亿），小号 Flash 版是 2840 亿参数（激活 130 亿）。 看底层的工程改动，我觉得这帮人真是把“用算法换硬件空间”榨干了。 第一刀砍在注意力机制上，用混合压缩技术，把跑 100 万上下文时的 KV 缓存显存占用，比 V3.2 缩减了 9.5 到 13.7 倍。 第二刀砍在精度上，专家权重直接上了 FP8 和 FP4 混合量化训练。FP4 这玩意比上代的 FP8 又省了一半的权重显存和读取带宽。 之前他们试过用华为芯片训模型，结果被芯片互联速度和软件栈卡得死死的，最后还是退回英伟达。 但推理的门槛跟训练差很多。 跑推理最卡脖子的是显存容量和带宽。现在算法直接把显存需求砍掉一个数量级，权重体积再砍一半，硬件搬运数据的压力瞬间小了太多。 所以这次 V4 发出来的同一天，华为直接官宣昇腾全量适配，论文里也确认这套专家并行方案在英伟达 GPU 和华为昇腾 NPU 上都跑通了。 反映到成本上更是直接掀桌子。 对标顶尖闭源模型的 V4-Pro，API 输出每百万 token 只要 3.48 美元，而 OpenAI 的 GPT-5.5 收 30 美元。小号 Flash 版更是压到了输入 0.14 美元、输出 0.28 美元。 不过这套路子也有明确的边界。 像从头预训练 33 万亿 token 这种极度依赖跨卡通信的苦活，现阶段还得靠英伟达的卡硬扛；但到了推理服务和强化学习阶段，国产芯片已经能顶上来了。 现在跑百万字长文本便宜得跟白送一样，想想我前阵子刚咬牙加钱配的本地大显存机器，感觉自己像个大冤种，当时真不如拿这笔钱去存两箱好酒。 https://x.com/6monthsAgoInAI/status/2113996683784904832

曝光 153 · 评论 2 · 点赞 0 · 书签 0