DeepSeek 刚干了件大厂最不敢干的事。 10 月 20 日，它把自家生产环境的推理引擎 DeepInfer，直接开源了，Apache 2.0，扔上了 … · @chenYijl · TwKit

@chenYijl

DeepSeek 刚干了件大厂最不敢干的事。 10 月 20 日，它把自家生产环境的推理引擎 DeepInfer，直接开源了，Apache 2.0，扔上了 GitHub。 这玩意儿是跑 V4.1-Flash 的发动机：一个回答烧多少钱、多快吐出来，成本大头全看它。 开源圈真正炸锅的，是支持的芯片名单：英伟达 SM100 和华为昇腾 950，并排写在同一个 README 里。 一家大厂的推理栈，同时给两家的卡当亲儿子。这画面，以前没见过。 底子它自己也认：README 写得明明白白，主要站在 vLLM 肩膀上，还借鉴了 SGLang 和 TensorRT-LLM。 自家报的数字挺唬人：单集群每天 155 万亿 token，输入缓存命中率 96%，首字 400 毫秒，每秒 230 个 token，写代码能飙到 300。 （它自己报的，信几分你定。） 留了一手：这次只给离线推理。KV 缓存、预填充解码拆分、负载均衡这些生产真家伙，没给。 配套还扔了个 deepseek-recipe，token 编解码跟官方 API 对齐，Rust 写的。 OpenAI 和 Anthropic 的推理栈，至今还锁在机房里当传家宝。 DeepSeek 先把图纸贴出来了。 模型谁都会训了。便宜地跑，才是真本事。它先把答案交了！

曝光 96 · 评论 2 · 点赞 2 · 书签 0