DeepSeek 把自己线上服务在用的推理框架 DeepInfer 开源了，Apache 2.0。 简单说，模型训练好之后，还需要一套东西负责把它真正跑起来… · @ScarletKc · TwKit

@ScarletKc

DeepSeek 把自己线上服务在用的推理框架 DeepInfer 开源了，Apache 2.0。 简单说，模型训练好之后，还需要一套东西负责把它真正跑起来、同时服务大量用户，这就是推理框架。你平时调 DeepSeek API，背后跑的就是它。这次放出来的是离线推理部分，带了他们自己的 FlashMLA、DeepGEMM、DeepEP 这些 kernel，还有投机解码、确定性采样（同样的输入和参数，输出完全一样）、结构化输出这些功能。 但普通人直接拿来用基本不现实。目前只支持 DeepSeek-V4.1-Flash 一个模型，硬件只支持 NVIDIA SM100（B200 这一代数据中心卡）和华为昇腾 950，家里的 4090、5090 都跑不了。官方 benchmark 是 4 张卡做 prefill、64 张卡做 decode。KV cache、PD 分离、负载均衡这些完整服务必需的部分也没放出来。 所以它对普通人的用处是间接的。部署 DeepSeek 模型的云厂商和 API 平台可以直接参考甚至拿来用，vLLM、SGLang 这些社区框架也能吸收里面的优化。推理跑得更快更省，最后应该会体现在更便宜、更快的 API 上。另外它同时支持昇腾 950，不只是 NVIDIA。

曝光 103 · 评论 1 · 点赞 2 · 书签 0