DeepSeek 刚刚把自家生产环境用的推理框架 DeepInfer 开源了，而且是 Apache 2.0 许可证。 翻了一下 GitHub，这次放出来的东… · @xulijian1994 · TwKit

@xulijian1994

DeepSeek 刚刚把自家生产环境用的推理框架 DeepInfer 开源了，而且是 Apache 2.0 许可证。 翻了一下 GitHub，这次放出来的东西还是挺硬核的。 简单说，大模型训练出来是一回事，怎么让它在几百张 GPU 上高效运行、同时服务大量用户，又是另一回事。DeepInfer 就是专门解决后面这个问题的。 里面有几个技术点值得关注： 1. 推测解码：先让模型预测后面几个 Token，再批量验证，减少逐字生成的等待时间。默认最多预测 5 个。 2. MoE 专家并行：把不同专家分散到多张 GPU 上，还能动态平衡负载，避免有的卡忙死、有的卡闲着。 3. 异步调度：CPU 准备下一批请求的时候，GPU 继续计算，尽量减少显卡空等的时间。 4. 确定性推理：支持固定随机种子，让相同输入在不同批次组合下也能得到一致结果，对模型测试和问题复现很有价值。 不过目前开源的还不是完整的线上服务系统，主要提供离线推理，KV Cache 管理等组件还需要自行补齐。当前支持 DeepSeek-V4.1-Flash，硬件面向 NVIDIA SM100 和华为昇腾 950。 以前大家更多关注 DeepSeek 模型有多强，这次算是能直接看看它背后的推理工程是怎么做的了。 GitHub：https://github.com/deepseek-ai/DeepInfer

曝光 26 · 评论 3 · 点赞 0 · 书签 0