DeepSeek 开源推理框架 DeepInfer，DeepSeek 研究员陈德里：无论他们想战斗多久，我们都会战斗。 直到完全胜利。 陈德里是 DeepS… · @Zhibin992 · TwKit

@Zhibin992

DeepSeek 开源推理框架 DeepInfer，DeepSeek 研究员陈德里：无论他们想战斗多久，我们都会战斗。 直到完全胜利。 陈德里是 DeepSeek 高级研究员，是DeepSeek V1、V2、V3、V4、R1、DeepSeek-Coder 和 DeepSeek-MoE 架构的核心贡献者。 ​ 在V4.1 Flash设计之初，DeepSeek就确定了三个目标： 1、兼容多种厂商的计算芯片：支持在不同硬件平台上部署，并充分发挥各平台的性能。 2、基于常见硬件组织Prefill和Decode：用常见的8卡机器做 Prefill，用常见的64～128 卡超节点做Decode，围绕两个阶段的负载特征设计计算、通信与调度。 3、支持将KVCache保留72小时以上：为上下文复用提供更长的时间窗口，在缓存命中时减少重复的Prefill 计算，并将长时间保留缓存所需的容量与管理开销纳入系统设计。

曝光 66 · 评论 0 · 点赞 1 · 书签 0