DeepSeek 将支撑其线上服务的推理框架 DeepInfer 以 Apache-2.0 许可开源，代码托管在 GitHub，并同步开源 Token 编解… · @buoyhuang · TwKit

@buoyhuang

DeepSeek 将支撑其线上服务的推理框架 DeepInfer 以 Apache-2.0 许可开源，代码托管在 GitHub，并同步开源 Token 编解码组件 deepseek-recipe（MarkTechPost 称其采用 MIT 许可）。官方称该框架已用于 DeepSeek-V4.1-Flash 的高吞吐、低延迟推理，开源旨在帮助社区降低算力成本与能耗；IT之家称其兼容英伟达与华为昇腾平台。 开源范围存在限制。Rohan Paul 称该版本只运行 DeepSeek-V4.1-Flash，限于英伟达 SM100 GPU 或华为昇腾 950 芯片，覆盖离线推理而非完整服务栈，未包含 KV cache 系统、prefill 与 decode 分离及多副本负载均衡；MarkTechPost 同样称其为离线推理，并列出构建需 Linux、GCC 13 以上、Python 3.12，以及 CUDA 13 或 CANN 9.2。 Yuchen Jin 引述 DeepSeek 公布的运营数据：单集群日吞吐 155 万亿 token，按非高峰价格计算每 GPU 小时收入 38 美元。他称 DeepSeek 未披露所用 GPU，并按其假设的 B300 租赁价估算毛利率约 82%。

曝光 49 · 评论 0 · 点赞 0 · 书签 0