太牛逼了 ! ! ! DeepSeek 直接把推理模型开源了. DeepSeek 把自己线上跑 V4.1 Flash 用的推理框架 DeepInfer 开源… · @0xlangeai · TwKit

@0xlangeai

太牛逼了 ! ! ! DeepSeek 直接把推理模型开源了. DeepSeek 把自己线上跑 V4.1 Flash 用的推理框架 DeepInfer 开源了，Apache 2.0 协议。 说白了就是他们官方 API 背后那套跑模型的引擎，拿出来给大家用，目的是把算力成本和耗电往下压。 里面有几块：自家优化过的算子（FlashMLA、DeepGEMM、DeepEP 这些），分布式推理和投机解码，SWA Bounded Replay 少算一截预填充，还有结构化输出，能按正则、JSON schema 约束生成。 另外还开源了 deepseek-recipe，就是官方 API 的分词编解码那一层，社区自己部署也能跟官方 API 行为对齐。 硬件目前支持英伟达 SM100 和华为昇腾 950。这次放出来的是离线推理，KV cache、预填充和解码分离、负载均衡这些完整服务需要的部分还没给。后面新模型的推理代码也会放在这个仓库。

曝光 81 · 评论 0 · 点赞 0 · 书签 0