DeepSeek开源推理框架DeepInfer，性能、硬件与成本成焦点 · 话题榜 · TwKit

@modaleap

DeepSeek开源非常有助于增加就业😆 以前这么牛的Infra只能大厂招得起，月薪近十万，中小厂完全没法招Infra工程师 现在中小厂也能花一两万请Infra工程师用现成的框架了，预期能创造数倍于大厂的就业

@loveAIwang

前两天DeepSeek还天天被拉去做亲子鉴定😤 今天DeepSeek：别验了，DNA我直接公开 推理框架DeepInfer整个开源，Apache 2.0，自己拿去看🐳 OpenAI：…… Anthropic：……

@qqa16804

有一点一直想不明白， 为什么 DeepSeek 明明跟顶尖模型还有很大差距， 却总是被这些顶尖模型公司视为竞争对手呢？

@Vincent_AINotes

DeepSeek 真是站着把钱挣了！ 今天 DeepSeek 正式开源 DeepInfer，官方披露单集群吞吐量达到每天 155 万亿 Tokens，折合每卡每小时 38 美元收入。 之前梁圣说 10 个月回本，现在看来还真保守了。 按美国公开市场的显卡价格粗算，两个月就能收回硬件成本。就算按国内黑市 350 万一套卡的价格算，估计四个月也能回本。 当然，这还没扣除电费、运维等成本。 怪不得美国那些云厂商顶着 10% 的利率也要借钱建数据中心，这生意看着是真赚钱啊！

@qinbafrank

梁文锋格局怎么这么大？不仅模型开源了，现在又把推理框架也开源了，而且就是deepseek V4.1-Flash 现在正在用的核心推理框架。

@MinLiBuilds

😭 梁文峰我真的哭死！DeepSeek 这次开源推理框架，是一场蓄谋已久的阳谋！ 美国封芯片，梁子就拼算法。美国封产品，梁子就开源基础设施。 把 2026 年的时间线连起来看，太有戏剧性了。 🔥 2 月，梁子先动手。 路透社爆料，DeepSeek 发布 V4 前，竟然没有提前把模型交给 NVIDIA 和 AMD 优化。 反而让华为等国产芯片厂商提前拿到模型，抢先适配！ 🔥 4 月，DeepSeek V4 正式登场。 百万 Token 上下文，模型开源，继续把大模型的使用成本往下打。 🔥 7 月，美国开始下狠手。 美国国土安全部在 7 月 24 日签发禁令，要求联邦民事机构： ① 禁止采购 DeepSeek 相关产品和服务。 ② 从政府 IT 系统中清除 DeepSeek。 ③ 连基于 DeepSeek 实现开发的第三方产品和服务，也纳入清除范围！ 第三条才是真的狠！要把梁子往死里整。 🔥 9 月，梁子继续降成本。 发布 V4.1 Flash，552B 参数的 MoE 模型，输入只激活 8B，输出激活 16B。 让大模型用更少的计算资源，干更多的活。 🔥 10 月 17 日，模型继续升级。 V4.1 Flash-1017 发布，编程、Agent 能力继续提升。 🔥🚨10 月 20 日，高潮来了！ 美国正式公开刊登对 DeepSeek 的清除与采购禁令。 同一天，梁子直接把自家生产级推理框架 DeepInfer 开源了！ 更有意思的是，官方只列出两类支持的硬件： ① NVIDIA SM100：B200 / GB200 ② 华为 Ascend 950：国产昇腾 NPU 这两类硬件跟我们普通屌丝基本没关系，瞄准的就是拥有大规模算力的数据中心。 DeepInfer 里面有什么？ MoE 专家并行、动态负载均衡、推测解码、异步调度…… 都是 DeepSeek 为了让大模型跑得更快、更省算力，长期打磨的推理技术。 这才是我理解的梁子的阳谋！ 你可以限制先进 GPU 出口，我就继续研究怎么用更少的算力跑出更强的模型。 你可以不让美国联邦机构采购 DeepSeek，我就把自己的推理技术交给全球开源社区。 你有 NVIDIA，我也支持 NVIDIA。 中国有华为，我同样支持华为。 未来更多芯片厂商想加入？那就一起研究、一起适配！ 最绝的是，梁子选择让 NVIDIA 和华为出现在同一份开源项目里。 以前，大模型要努力适配芯片。 未来，芯片厂商也可能为了争取 DeepSeek 的推理负载，主动来适配它的技术生态。 美国的禁令可以影响政府采购，却无法让已经开放的技术知识消失。 这场仗，梁子不是要证明自己不需要 NVIDIA。 而是想证明，中国的大模型可以有不止一条路。 这才是真正的技术反抗。 不是骂街，不是喊口号。 是把代码写出来，把另一条路铺出来。 DeepInfer： https://github.com/deepseek-ai/DeepInfer 美国禁令： https://www.federalregister.gov/d/2026-21447 https://x.com/MaxForAI/status/2087596692497719654/video/1

@0xLogicrw

去年，DeepSeek 尝试用华为昇腾芯片训练 R2，最后没能成功。《金融时报》当时披露，芯片稳定性、跨卡通信和软件支持都存在问题。即便华为派工程师驻场协助，DeepSeek 最终还是转回英伟达芯片完成训练。 此后，双方先从软件入手。今年 9 月底，DeepSeek 开源了昇腾版 TileLang，以及矩阵计算、MoE 专家通信等底层工具，减少模型迁移到国产芯片所需的代码改写工作。但软件适配只是第一关，完整预训练还需要成千上万颗芯片长时间稳定协作。 现在，合作已经深入芯片设计。《The Information》披露，华为工程师长期驻扎 DeepSeek 办公室，将模型的计算方式、跨芯片数据传输等需求直接纳入下一代昇腾芯片的设计。过去主要是修改软件适应芯片，现在华为也开始根据 DeepSeek 的模型需求调整硬件。 DeepSeek 计划最快今年年底使用昇腾 950DT 开始预训练，目前新一轮测试已动用超过 1000 颗芯片。但一次完整预训练可能需要上万颗芯片连续运行数周，通信效率、故障恢复和配套软件仍是难关。 华为则准备将 2027 年第一季度推出的昇腾 960DT 的大部分供应优先交给 DeepSeek，而不是分散给其他模型公司。

@xiangning0

Deepseek把内部的推理框架也开源了 糟了，A÷又有东西学了， 学完进化以后，又要反手出一张报告说Deepseek蒸馏了 真有人信Deepseek完全靠蒸馏走到这一步的， 但凡看过他们的开源内容和论文也说不出这种话....

@Dicklong1999

有没有大佬解答一下，为什么梁文锋说GLM的开源不够纯粹？那Kimi呢？

@laopai1990

DeepSeek 这波反击，真有点梁文锋的风格！！🐳 前几天 DeepSeek V4.1 Flash 1017 刚更新，模型指纹就被检测成 GPT-6 Astra，然后整个 X 上都说， “又蒸馏了xx吧？” “DeepSeek 到底抄了多少？” 从 R1 到 V4.1，DeepSeek 每次更新，都有人急着给DeepSeek它找个美国爹， 到今天，DeepSeek 一句话没解释，直接把 DeepInfer 推理框架开源了， Apache 2.0，推理内核、并行调度、解码优化，连英伟达和华为昇腾都支持， 网友还在给模型做亲子鉴定，人家已经把DNA 报告放 GitHub 了， 研究去吧，GitHub 我都扔评论区了，记得回来聊几句😏

@jackyang886

还有比DeepSeek v4.1 flash 1017性价比更高的模型吗 @grok请全方面分析，不要划水

@oran_ge

DeepSeek 把自己低价的秘密武器推理框架给全部开源了 这将推动所有模型大降价 善莫大焉 大鲸鱼是人类之光

@NFT_Chen

🚨重磅！DeepSeek 正式开源生产级推理引擎 DeepInfer！梁圣太伟大了！让AI惠及每一个普通人！ 梁文峰放大招，把自家跑 V4.1-Flash 线上服务的核心推理框架彻底开源Apache-2.0。 核心要点 🔹就是官方在用的引擎：高吞吐、低延迟大规模服务能力直接开源 🔹双平台支持：英伟达 SM100 + 华为昇腾 950 🔹关键能力：优化内核、MoE 专家并行、DSpark 推测解码、SWA 重放、零开销调度、结构化输出 🔹配套开源：deepseek-recipe（编解码组件，与官方 API 逻辑对齐） 🔹目标：大幅降低算力与电力成本，让 AI 更普惠 
DeepInfer：https://github.com/deepseek-ai/DeepInfer 
deepseek-recipe：https://github.com/deepseek-ai/deepseek-recipe 模型开源已是基操，现在连推理引擎也开了，格局直接拉满。 #DeepSeek #DeepInfer #开源 #AI推理 #梁文峰 #普惠AI #梁圣 #推理引擎 #V41flash1017

@SuJinYan123

给一点 Deepinfer推理侧的速度锐评 1. 感觉 git repo 本身，对我们这样研发来说意义不太大，有一点点吧，但是好些东西没开。但是论证了我 kern 的想法，per model per repo 。 2. 精华本身在 zhihu 那篇文章，这篇文章很有价值，https://zhuanlan.zhihu.com/p/2095560295930508953。主要是确定了一些 ds 内部的并行，decode 侧就还是经典的 wideep，ep64 什么的。 有价值的就在几个 load balancer，第一个是分桶（这个其实是比较生产的），不知道开源 router 有没有人做，但生产来说，其实之前 together 就探索过一下。 prefill 的路由策略很有意思，不做任何的 cache aware，靠池化兜底。 dp group 直接用 compute tokens 作为负载 平衡的指标，dp 组内，也是。这个有点什么的味道，我想不起来了。可能和 hash 那边的一些东西有关，maybe 是，bitmap 什么的，我只是说思想好吧。 fifo，这里有个有意思的，它也做了一个估计器，其实前不久我也做了一个（只不过链接失效了hh）,我当时是想给 pp 做的，但是我觉得无论 ep pp，这个思路是一致的，不固定 chunk size，然后固定“耗时”，总之就是一个离线你先跑出来嘛，然后给个表，然后让 scheduler 去估到合适的时间，组 batch。 当然我有一个想法是，prefill 到底是 pp 还是 ep，当然现在模型训成 每一个 Layer 都不一样的，那天生也就对 pp 不友好，那也没招。但是 ep 要完整做完 ds 这一套，需要不少流量和 prefill worker。总的来说在中小部署我看好 pp（几个 prefill worker 这种），大部署我才看好 ep。 decode 和我想的也差不多，就是一个 kv cache + num running 的组合是吧。当然具体怎么调配就是一个 case by case 的事情。 eplb 呢，就是冗余换 lb 吧。不过有个在线的 eplb，不知道开源出来没有。这里的 trade off 就是，eplb 会占用更多显存是吧，但是呢它也能提升吞吐，而且越复制收益越小，所以要找到一个比较合适的点。也是 case by case 的。 然后是 router 的pd 动态扩缩容，prefill 还是 整体compute tokens，deocde 是 num running。 kv cache 呢就是 3fs，然后 3天的 ttl，能换到 0.5 - 1% 的命中率。kv cache 管理由 decode 主导？这样输出也能被 hit。 关于 I/o，精华是这句，换入从 shm 到 HBM 在 engine 进程内的线程里做，目标是实现逐层 H2D （Host-to-Device） 传输与前向计算重叠，由于 CUDA copy engine 对于 KVCache Block 细粒度的拷贝性能不佳，换入使用 GDR 实现，用 RDMA 网卡就能打满 PCIe 带宽，并且不占 SM。 这个我有空后面再讲吧。 dspark 变长验证，这个真上了，挺好的。 异步调度，先忽略。 ds弄了一个结构化输出库，good! 为了防止说我在蹭，我截个图，我之前思考过的路由策略，开源我的 thinking content !

@xiangxiang103

卧槽，全体起立！748B 的 DeepSeek V4.1 Flash 1017，128G 内存的 Mac 就能本地跑了！ Unsloth 刚放出量化版，顺手讲讲「量化」是啥： 模型就是几千亿个数字，量化就是每个数字少存几位，像无损音乐转 MP3，体积砍一半，音质掉一点 🔥按内存对号入座 1. 128G：1-bit（IQ1_S），233GB，和原版选同一个词的比例约 85% 2. 256G：3-bit（IQ3_XXS），395GB，约 95% 3. 300G 以上：4-bit，500GB，基本无损 内存比文件小也能跑，是因为它有块 196B 的查表，能放 SSD 按需读 想本地部署的先收藏 https://unsloth.ai/docs/models/deepseek-v4.1-flash

@Kmno4Z62942

Deepseek 开源的最新的 大规模云服务推理框架 DeepInfer。技术报告中写到：目前单一集群的服务吞吐是 155 万亿 Tokens/天，整体收入是每卡每小时 38 美金（按谷价）。 梁叔叔还是太实诚了，连收入都开源！原文链接在此 https://zhuanlan.zhihu.com/p/2095560295930508953

@ai_funss

DeepSeek你开源技术就开源技术，你收入也开源😱😱😱 平均收入： 每小时： $38 -> 约 266 元 每天： $912 -> 约 6,384 元 每月： $27,360 -> 约 19.2 万元

@jackyang886

告诉我deepseek还有哪些核心技术没开源的？ @grok 请如实回答，不要有所保留

@GKev1n

求求 OpenAI 了，别再特么说 Deepseek 是 Astra 蒸馏来的了！ 这特么可是都能跑在华为昇腾显卡上的推理引擎！ 今晚 17:30 DeepSeek 开源了 DeepInfer，就是线上撑着 V4.1 Flash 的推理框架，Apache 2.0。推理框架简单说就是把模型变成 API 服务的中间层，决定一张卡能同时伺候多少人、每个 token 多贵。 README 里支持的硬件就列了两个，NVIDIA SM100（B200 这一代）和华为昇腾 950。模型能力可以接着吵，可把模型高效跑在国产卡上的这套工程，蒸馏是蒸不出来的。 求求 OpenAI 了，你要是弄个 Terra 6.1 出来，跑不过 DeepSeek ，我真不知道你脸能放哪里了😓

@tuolaji2024

DeepSeek 把印钞机开源了！ 单卡谷价每小时38美元，每天可以创收，6000 人民币，每个月，15-18 万人民币，不管是华为还是英伟达，这都是印钞机，如果是华为不敢想，如果是英伟达 b100 200 更不敢想，那么高端产品得算力价值更是逆天！