想拆解 DeepSeek 的大规模推理实现，可以看看 DeepInfer，但别把它当成开箱即用的服务端。 异步调度把 CPU 排批与设备执行重叠，MoE 专… · @vintcessun · TwKit

@vintcessun

想拆解 DeepSeek 的大规模推理实现，可以看看 DeepInfer，但别把它当成开箱即用的服务端。 异步调度把 CPU 排批与设备执行重叠，MoE 专家并行配合负载均衡，重点是让计算资源少等、少闲置。一个值得注意的权衡：确定性采样需要开启批次不变性、关闭变长草稿解码，并固定序列种子，并非性能特性全开就好。 当前开源版提供离线推理；完整服务仍需补齐 KV 缓存系统、阶段分离和副本间负载均衡。 https://github.com/deepseek-ai/DeepInfer

曝光 12 · 评论 0 · 点赞 0 · 书签 0