DeepSeek昨天直接把自家压箱底的线上推理框架DeepInfer和分词组件挂上开源协议白送了，这套系统支撑着他们每天155万亿Tokens的高并发调用。… · @xiyue0803 · TwKit

@xiyue0803

DeepSeek昨天直接把自家压箱底的线上推理框架DeepInfer和分词组件挂上开源协议白送了，这套系统支撑着他们每天155万亿Tokens的高并发调用。最有意思的是他们的官方工程文档。 现在整个行业都在卷顶级算力、跟投资人吹非旗舰卡不用，DeepSeek的工程师却在部署手册里白纸黑字写着：视觉编码器建议用机房角落里能找到的最便宜的卡跑就行。而且为了省显存，他们搞了套分布式存储把缓存存满好几天，甚至用重算最后128个token的方案直接砍掉一半预计算量。 以前大部分所谓开源模型只给个权重文件，怎么跑高吞吐全藏在黑盒里，小厂商自己部署连电费都收不回来。这套框架一放出来，二三线算力商直接能把推理毛利拉到90%以上，连老牌推理项目vLLM都跑出来致谢。把显卡性能榨出最后一滴油，省钱省到极致反而成了降维打击，不得不说这帮工程师确实有点手艺在身上。

曝光 9 · 评论 0 · 点赞 0 · 书签 0