DeepSeek开源DeepInfer推理框架引发成本与竞争讨论 · 话题榜 · TwKit

@modaleap

DeepSeek开源非常有助于增加就业😆 以前这么牛的Infra只能大厂招得起，月薪近十万，中小厂完全没法招Infra工程师 现在中小厂也能花一两万请Infra工程师用现成的框架了，预期能创造数倍于大厂的就业

@loveAIwang

前两天DeepSeek还天天被拉去做亲子鉴定😤 今天DeepSeek：别验了，DNA我直接公开 推理框架DeepInfer整个开源，Apache 2.0，自己拿去看🐳 OpenAI：…… Anthropic：……

@YxzRainy

我他🐎真的很好奇， 梁圣当年搞量化到底赚了多少钱？😱 DeepSeek API 便宜得离谱， V4.1 Flash 1017 模型开源， 现在连 DeepInfer 推理框架也开源了...... 别人搞 AI 是为了赚钱， 他是赚完钱来搞 AI 慈善的？？？

@Vincent_AINotes

DeepSeek 真是站着把钱挣了！ 今天 DeepSeek 正式开源 DeepInfer，官方披露单集群吞吐量达到每天 155 万亿 Tokens，折合每卡每小时 38 美元收入。 之前梁圣说 10 个月回本，现在看来还真保守了。 按美国公开市场的显卡价格粗算，两个月就能收回硬件成本。就算按国内黑市 350 万一套卡的价格算，估计四个月也能回本。 当然，这还没扣除电费、运维等成本。 怪不得美国那些云厂商顶着 10% 的利率也要借钱建数据中心，这生意看着是真赚钱啊！

@qinbafrank

梁文锋格局怎么这么大？不仅模型开源了，现在又把推理框架也开源了，而且就是deepseek V4.1-Flash 现在正在用的核心推理框架。

@MinLiBuilds

😭 梁文峰我真的哭死！DeepSeek 这次开源推理框架，是一场蓄谋已久的阳谋！ 美国封芯片，梁子就拼算法。美国封产品，梁子就开源基础设施。 把 2026 年的时间线连起来看，太有戏剧性了。 🔥 2 月，梁子先动手。 路透社爆料，DeepSeek 发布 V4 前，竟然没有提前把模型交给 NVIDIA 和 AMD 优化。 反而让华为等国产芯片厂商提前拿到模型，抢先适配！ 🔥 4 月，DeepSeek V4 正式登场。 百万 Token 上下文，模型开源，继续把大模型的使用成本往下打。 🔥 7 月，美国开始下狠手。 美国国土安全部在 7 月 24 日签发禁令，要求联邦民事机构： ① 禁止采购 DeepSeek 相关产品和服务。 ② 从政府 IT 系统中清除 DeepSeek。 ③ 连基于 DeepSeek 实现开发的第三方产品和服务，也纳入清除范围！ 第三条才是真的狠！要把梁子往死里整。 🔥 9 月，梁子继续降成本。 发布 V4.1 Flash，552B 参数的 MoE 模型，输入只激活 8B，输出激活 16B。 让大模型用更少的计算资源，干更多的活。 🔥 10 月 17 日，模型继续升级。 V4.1 Flash-1017 发布，编程、Agent 能力继续提升。 🔥🚨10 月 20 日，高潮来了！ 美国正式公开刊登对 DeepSeek 的清除与采购禁令。 同一天，梁子直接把自家生产级推理框架 DeepInfer 开源了！ 更有意思的是，官方只列出两类支持的硬件： ① NVIDIA SM100：B200 / GB200 ② 华为 Ascend 950：国产昇腾 NPU 这两类硬件跟我们普通屌丝基本没关系，瞄准的就是拥有大规模算力的数据中心。 DeepInfer 里面有什么？ MoE 专家并行、动态负载均衡、推测解码、异步调度…… 都是 DeepSeek 为了让大模型跑得更快、更省算力，长期打磨的推理技术。 这才是我理解的梁子的阳谋！ 你可以限制先进 GPU 出口，我就继续研究怎么用更少的算力跑出更强的模型。 你可以不让美国联邦机构采购 DeepSeek，我就把自己的推理技术交给全球开源社区。 你有 NVIDIA，我也支持 NVIDIA。 中国有华为，我同样支持华为。 未来更多芯片厂商想加入？那就一起研究、一起适配！ 最绝的是，梁子选择让 NVIDIA 和华为出现在同一份开源项目里。 以前，大模型要努力适配芯片。 未来，芯片厂商也可能为了争取 DeepSeek 的推理负载，主动来适配它的技术生态。 美国的禁令可以影响政府采购，却无法让已经开放的技术知识消失。 这场仗，梁子不是要证明自己不需要 NVIDIA。 而是想证明，中国的大模型可以有不止一条路。 这才是真正的技术反抗。 不是骂街，不是喊口号。 是把代码写出来，把另一条路铺出来。 DeepInfer： https://github.com/deepseek-ai/DeepInfer 美国禁令： https://www.federalregister.gov/d/2026-21447 https://x.com/MaxForAI/status/2087596692497719654/video/1

@xiangning0

Deepseek把内部的推理框架也开源了 糟了，A÷又有东西学了， 学完进化以后，又要反手出一张报告说Deepseek蒸馏了 真有人信Deepseek完全靠蒸馏走到这一步的， 但凡看过他们的开源内容和论文也说不出这种话....

@laopai1990

DeepSeek 这波反击，真有点梁文锋的风格！！🐳 前几天 DeepSeek V4.1 Flash 1017 刚更新，模型指纹就被检测成 GPT-6 Astra，然后整个 X 上都说， “又蒸馏了xx吧？” “DeepSeek 到底抄了多少？” 从 R1 到 V4.1，DeepSeek 每次更新，都有人急着给DeepSeek它找个美国爹， 到今天，DeepSeek 一句话没解释，直接把 DeepInfer 推理框架开源了， Apache 2.0，推理内核、并行调度、解码优化，连英伟达和华为昇腾都支持， 网友还在给模型做亲子鉴定，人家已经把DNA 报告放 GitHub 了， 研究去吧，GitHub 我都扔评论区了，记得回来聊几句😏

@oran_ge

DeepSeek 把自己低价的秘密武器推理框架给全部开源了 这将推动所有模型大降价 善莫大焉 大鲸鱼是人类之光

@SuJinYan123

给一点 Deepinfer推理侧的速度锐评 1. 感觉 git repo 本身，对我们这样研发来说意义不太大，有一点点吧，但是好些东西没开。但是论证了我 kern 的想法，per model per repo 。 2. 精华本身在 zhihu 那篇文章，这篇文章很有价值，https://zhuanlan.zhihu.com/p/2095560295930508953。主要是确定了一些 ds 内部的并行，decode 侧就还是经典的 wideep，ep64 什么的。 有价值的就在几个 load balancer，第一个是分桶（这个其实是比较生产的），不知道开源 router 有没有人做，但生产来说，其实之前 together 就探索过一下。 prefill 的路由策略很有意思，不做任何的 cache aware，靠池化兜底。 dp group 直接用 compute tokens 作为负载 平衡的指标，dp 组内，也是。这个有点什么的味道，我想不起来了。可能和 hash 那边的一些东西有关，maybe 是，bitmap 什么的，我只是说思想好吧。 fifo，这里有个有意思的，它也做了一个估计器，其实前不久我也做了一个（只不过链接失效了hh）,我当时是想给 pp 做的，但是我觉得无论 ep pp，这个思路是一致的，不固定 chunk size，然后固定“耗时”，总之就是一个离线你先跑出来嘛，然后给个表，然后让 scheduler 去估到合适的时间，组 batch。 当然我有一个想法是，prefill 到底是 pp 还是 ep，当然现在模型训成 每一个 Layer 都不一样的，那天生也就对 pp 不友好，那也没招。但是 ep 要完整做完 ds 这一套，需要不少流量和 prefill worker。总的来说在中小部署我看好 pp（几个 prefill worker 这种），大部署我才看好 ep。 decode 和我想的也差不多，就是一个 kv cache + num running 的组合是吧。当然具体怎么调配就是一个 case by case 的事情。 eplb 呢，就是冗余换 lb 吧。不过有个在线的 eplb，不知道开源出来没有。这里的 trade off 就是，eplb 会占用更多显存是吧，但是呢它也能提升吞吐，而且越复制收益越小，所以要找到一个比较合适的点。也是 case by case 的。 然后是 router 的pd 动态扩缩容，prefill 还是 整体compute tokens，deocde 是 num running。 kv cache 呢就是 3fs，然后 3天的 ttl，能换到 0.5 - 1% 的命中率。kv cache 管理由 decode 主导？这样输出也能被 hit。 关于 I/o，精华是这句，换入从 shm 到 HBM 在 engine 进程内的线程里做，目标是实现逐层 H2D （Host-to-Device） 传输与前向计算重叠，由于 CUDA copy engine 对于 KVCache Block 细粒度的拷贝性能不佳，换入使用 GDR 实现，用 RDMA 网卡就能打满 PCIe 带宽，并且不占 SM。 这个我有空后面再讲吧。 dspark 变长验证，这个真上了，挺好的。 异步调度，先忽略。 ds弄了一个结构化输出库，good! 为了防止说我在蹭，我截个图，我之前思考过的路由策略，开源我的 thinking content !

@NFT_Chen

🚨重磅！DeepSeek 正式开源生产级推理引擎 DeepInfer！梁圣太伟大了！让AI惠及每一个普通人！ 梁文峰放大招，把自家跑 V4.1-Flash 线上服务的核心推理框架彻底开源Apache-2.0。 核心要点 🔹就是官方在用的引擎：高吞吐、低延迟大规模服务能力直接开源 🔹双平台支持：英伟达 SM100 + 华为昇腾 950 🔹关键能力：优化内核、MoE 专家并行、DSpark 推测解码、SWA 重放、零开销调度、结构化输出 🔹配套开源：deepseek-recipe（编解码组件，与官方 API 逻辑对齐） 🔹目标：大幅降低算力与电力成本，让 AI 更普惠 
DeepInfer：https://github.com/deepseek-ai/DeepInfer 
deepseek-recipe：https://github.com/deepseek-ai/deepseek-recipe 模型开源已是基操，现在连推理引擎也开了，格局直接拉满。 #DeepSeek #DeepInfer #开源 #AI推理 #梁文峰 #普惠AI #梁圣 #推理引擎 #V41flash1017

@ai_funss

DeepSeek你开源技术就开源技术，你收入也开源😱😱😱 平均收入： 每小时： $38 -> 约 266 元 每天： $912 -> 约 6,384 元 每月： $27,360 -> 约 19.2 万元

@Kmno4Z62942

Deepseek 开源的最新的 大规模云服务推理框架 DeepInfer。技术报告中写到：目前单一集群的服务吞吐是 155 万亿 Tokens/天，整体收入是每卡每小时 38 美金（按谷价）。 梁叔叔还是太实诚了，连收入都开源！原文链接在此 https://zhuanlan.zhihu.com/p/2095560295930508953

@GKev1n

求求 OpenAI 了，别再特么说 Deepseek 是 Astra 蒸馏来的了！ 这特么可是都能跑在华为昇腾显卡上的推理引擎！ 今晚 17:30 DeepSeek 开源了 DeepInfer，就是线上撑着 V4.1 Flash 的推理框架，Apache 2.0。推理框架简单说就是把模型变成 API 服务的中间层，决定一张卡能同时伺候多少人、每个 token 多贵。 README 里支持的硬件就列了两个，NVIDIA SM100（B200 这一代）和华为昇腾 950。模型能力可以接着吵，可把模型高效跑在国产卡上的这套工程，蒸馏是蒸不出来的。 求求 OpenAI 了，你要是弄个 Terra 6.1 出来，跑不过 DeepSeek ，我真不知道你脸能放哪里了😓

@tuolaji2024

DeepSeek 把印钞机开源了！ 单卡谷价每小时38美元，每天可以创收，6000 人民币，每个月，15-18 万人民币，不管是华为还是英伟达，这都是印钞机，如果是华为不敢想，如果是英伟达 b100 200 更不敢想，那么高端产品得算力价值更是逆天！

@tuolaji2024

DeepSeek 已经完全放弃了的 Hopper 堆栈（H100/H200）的支持，并且在新开源的推理框架中只支持 Blackwell 和华为昇腾 NPU。 这，这个操作是不是可以理解，顶级模型只能用顶级芯片？ 黄仁勋不得笑开花了？ds 给他带货，以及 a 畜又能学到真本事了。

@fkysly

DeepSeek 开源推理框架后，是不是我们就可以用到更便宜的 OpenCode Go 套餐和 CommandCode 套餐了？

@jackyang886

我有时候真怀疑： DeepSeek 是不是不想赚钱， 只想让全世界的 AI 公司重新定价？ 不然这价格战打下去， 最后受伤的到底是谁？

@mylifcc

DeepSeek开源推理框架的一些热知识： 1. 有人开始提PR了😆 2. DeepSeek V4.1 Flash的单集群日吞吐 155 万亿 Token、单卡每小时收入约 38 美元 3. DeepInfer 最初主要基于 vLLM 开发，同时参考 SGLang 和 TensorRT-LLM 4. DeepSeek 同时支持 NVIDIA 和华为昇腾，但批次无关推理与确定性采样目前明确标注为 NVIDIA-only 5. DeepSeek 开源了 API 协议实现，连官方的 Prompt 拼接规则都能研究了

@loveAIwang

说真的，刷到DeepSeek开源推理框架那一刻，我鼻子有点酸😭😭😭 别人家的门越关越紧，防蒸馏、防抄、防这防那 DeepSeek倒好，他把论文给你，模型给你，现在连自己线上吃饭的家伙都直接掏出来了😱😱😭！ 闭源模型我用了这么久，钱也没少花，从来没有哪家这么对过我们这些写代码的 换成OpenAI、Anthropic、Google，打死我都不信他们会这么干 DeepSeek，这波我是真的爱了🐳❤️