🔓 美国刚封杀 DeepSeek，它转头把自家线上推理引擎开源了？ DeepInfer 就是 DeepSeek 线上服务真正在跑的推理框架（推理引擎=把模型… · @neuronxwhite · TwKit

@neuronxwhite

🔓 美国刚封杀 DeepSeek，它转头把自家线上推理引擎开源了？ DeepInfer 就是 DeepSeek 线上服务真正在跑的推理框架（推理引擎=把模型变成能对外服务的那层）。Apache 2.0，几天已 5.6k star。 1️⃣ 支持 DeepSeek-V4.1-Flash，权重直接从 Hugging Face 拉 2️⃣ 硬件：NVIDIA SM100 和华为昇腾 950 NPU 3️⃣ 内核全家桶：FlashMLA、DeepGEMM、DeepEP + MoE 专家并行 4️⃣ 批次不变 + 确定性采样：同样输入，结果完全一致 5️⃣ 支持 JSON Schema / 正则结构化输出 ⚠️ 这次只放了离线推理：KV cache 系统、PD 分离、负载均衡没开源 💡 个人显卡跑不了，但做推理优化、自建大模型服务的团队，这是现成的“生产级答案”；README 还写明它最初基于 vLLM 改造。 https://github.com/deepseek-ai/DeepInfer 你会拿它替换 vLLM / SGLang 吗？

曝光 48 · 评论 2 · 点赞 1 · 书签 0