DeepSeek 把自家线上用的推理框架 DeepInfer 开源了，同时放出 Token 编解码组件 deepseek-recipe。 5 分钟看懂： ·… · @nicekate8888 · TwKit

@nicekate8888

DeepSeek 把自家线上用的推理框架 DeepInfer 开源了，同时放出 Token 编解码组件 deepseek-recipe。 5 分钟看懂： · 单一集群服务吞吐 155 万亿 Token/天，按谷价每卡每小时收入 38 美元（DeepSeek 公布） · Prefill 用 8 卡机器、Decode 用 64～128 卡超节点（Wide EP） · KV Cache 放进独立 3FS 集群（约 100 PiB SSD），平均缓存命中率 96% · SWA Bounded Replay：缺了只重算最近 128 个 Token，decoder 层总 Prefill 计算量几乎减半 · DSpark 变长验证：线上吞吐 +6% 边界：开源版提供离线推理，KV Cache 系统、分离部署和副本间负载均衡暂未包含；推荐最小高效部署 64+64 卡。

曝光 239 · 评论 0 · 点赞 2 · 书签 1