推理成本这块，DeepSeek 把底牌亮了。 他们刚把线上跑 V4.1 Flash 的推理框架 DeepInfer 整套开源，官宣帖不到一小时 13 万浏览… · @DistillX_AI · TwKit

@DistillX_AI

推理成本这块，DeepSeek 把底牌亮了。 他们刚把线上跑 V4.1 Flash 的推理框架 DeepInfer 整套开源，官宣帖不到一小时 13 万浏览。 事实（官方帖）： 生产环境在用的推理栈，含高性能算子、分布式推理、推测解码、SWA 有界重放、结构化输出 以后新模型的推理代码也会放在这里 去年 4 月他们还写过，内部引擎是改得很深的 vLLM 分叉、绑着内部集群，所以不整套开源 谁用得上： 自己部署 DeepSeek 模型、在算每百万词元成本的团队，可以拿它和 vLLM、SGLang 跑同一批请求比吞吐 我的判断： 权重早就开了，真正拉开差距的是怎么便宜地跑。这次等于把账本也摊开了 我的推测： 第三方托管 DeepSeek 的价格大概率还会往下走 坑：仓库刚上线，文档和硬件适配还得看后面几周 https://x.com/deepseek_ai/status/2112476496283775135

曝光 4 · 评论 1 · 点赞 0 · 书签 0