DeepSeek 开源了自家生产级推理框架 DeepInfer，还原生支持华为昇腾 950。 项目采用 Apache-2.0 协议，可商用、修改。它源自 D… · @bkdgiffug · TwKit

@bkdgiffug

DeepSeek 开源了自家生产级推理框架 DeepInfer，还原生支持华为昇腾 950。 项目采用 Apache-2.0 协议，可商用、修改。它源自 DeepSeek 大规模推理服务，不过目前开放的是离线推理版本，并非完整线上部署方案。 几个重点： 硬件支持：英伟达 SM100 GPU、华为昇腾 950 NPU 模型支持：目前仅支持 DeepSeek-V4.1-Flash 推理加速：通过 DSpark 草稿 token 和置信度验证提升解码效率 底层算子：集成 FlashMLA、DeepGEMM、DeepEP 等内核 结构化输出：支持正则、JSON Schema 和 EBNF 约束 另外，批次不变推理和确定性采样目前仅支持英伟达平台。 需要注意：KV Cache、Prefill/Decode 分离及副本间负载均衡等线上服务组件暂未包含。项目早期主要基于 vLLM 构建，也参考了 SGLang 和 TensorRT-LLM。 🔗 https://github.com/deepseek-ai/DeepInfer

曝光 327 · 评论 6 · 点赞 4 · 书签 0