🐳 DeepSeek 把线上推理框架开源了 DeepInfer 就是线上跑 DeepSeek-V4.1-Flash 的那套系统，用 Apache 2.0 协… · @aizhibeibei · TwKit

@aizhibeibei

🐳 DeepSeek 把线上推理框架开源了 DeepInfer 就是线上跑 DeepSeek-V4.1-Flash 的那套系统，用 Apache 2.0 协议，代码全放出来了。 内核、分布式推理、投机解码、结构化输出都在里面，以后新模型的推理代码也会放进这个仓库。 硬件除了英伟达，还支持华为昇腾 950。 官方曲线显示，64 卡下单卡吞吐约 2.6 万 tokens/s，低并发时每个用户能到 300+ tokens/s。 同时开源的还有 deepseek-recipe，自己部署的效果能跟官方 API 对齐。 不过这次只放了离线推理，KV cache 和 PD 分离还没开源。 你会自己部署一个试试吗？

曝光 39 · 评论 0 · 点赞 0 · 书签 0