DeepSeek开源推理框架的一些热知识： 1. 有人开始提PR了😆 2. DeepSeek V4.1 Flash的单集群日吞吐 155 万亿 Token、… · @mylifcc · TwKit

@mylifcc

DeepSeek开源推理框架的一些热知识： 1. 有人开始提PR了😆 2. DeepSeek V4.1 Flash的单集群日吞吐 155 万亿 Token、单卡每小时收入约 38 美元 3. DeepInfer 最初主要基于 vLLM 开发，同时参考 SGLang 和 TensorRT-LLM 4. DeepSeek 同时支持 NVIDIA 和华为昇腾，但批次无关推理与确定性采样目前明确标注为 NVIDIA-only 5. DeepSeek 开源了 API 协议实现，连官方的 Prompt 拼接规则都能研究了

曝光 344 · 评论 0 · 点赞 1 · 书签 0