DeepSeek 又开源了一个重磅项目：DeepInfer！ 梁圣这次不是发布新模型，而是直接开放大模型推理底层技术。 简单来说：让 AI 跑得更快、成本更… · @vincentwangau · TwKit

@vincentwangau

DeepSeek 又开源了一个重磅项目：DeepInfer！ 梁圣这次不是发布新模型，而是直接开放大模型推理底层技术。 简单来说：让 AI 跑得更快、成本更低、并发能力更强。 6 大技术亮点： ① 高性能算子：FlashMLA、DeepGEMM、DeepEP，优化计算与通信效率。 ② MoE 专家并行：改善多 GPU 负载均衡。 ③ 推测解码：DSpark 加速 Token 生成。 ④ 异步调度：减少 CPU 与 GPU 相互等待。 ⑤ 结构化输出：支持 JSON Schema、正则表达式等约束。 ⑥ 国产芯片适配：同时支持 NVIDIA GPU 和华为昇腾 Ascend 950 NPU。 官方披露的生产级系统数据： 单集群日处理量：155 万亿 Tokens 特定业务口径下：约 38 美元/GPU·小时收入 高并发测试中，DSpark 动态验证吞吐量提升最高约 11% 大模型竞争正在从「谁的模型更聪明」，逐渐延伸到「谁能用更低成本提供更强的推理服务」。 DeepInfer 的价值，不只是开源一套代码，而是让外界有机会研究 DeepSeek 的大规模推理工程能力。 GitHub： https://github.com/deepseek-ai/DeepInfer #DeepSeek #DeepInfer #OpenSource #AI #LLM #Inference #GitHub

曝光 56 · 评论 1 · 点赞 1 · 书签 0