DeepSeek发布DeepEP V2.5

🚨重磅！DeepSeek 发布 DeepEP V2.5 版本！又把 MoE 通信库掏出来升级了！ 升级要点如下： 1️⃣缓冲区拆分
ElasticBuffer → EPBuffer / EngramBuffer / PPBuffer / BucketBuffer，共享同一套生命周期，职责更清晰。 2️⃣先规划再分配
新增 BufferAllocator，构建缓冲区前先规划对称张量怎么占显存，少浪费、少碎片。 3️⃣批量集合通信
BucketBuffer 支持批量 all-gather、reduce-scatter、all-reduce，普通 PyTorch 张量也能走同一套会话。 4️⃣动态冗余专家
lb_prefetch_weights：算专家前用 NVLink 预取权重和量化尺度
lb_reduce_grads：反向时把冗余专家的 FP32 梯度累加回原始专家
对齐 MoonEP / UltraEP 那套专家复制思路。 5️⃣训练细节补齐
支持延迟 EP 收尾、缓存扩展布局、专家之间零填充。 6️⃣多层 Engram
可在 GPU 或 CPU 上多层存储，每层一个等待钩子。 7️⃣大扫除
完全移除 V1 API、NVSHMEM 后端和旧文档，NVSHMEM 不再是依赖。 一句话：把原来那个大而全的 ElasticBuffer 拆开、把显存规划提前、把冗余专家和集合通信做成可复用积木，顺便把 V1 / NVSHMEM 彻底清干净。 仓库：https://github.com/deepseek-ai/DeepEP #DeepSeek #DeepEP #MoE #梁文峰 #ExpertParallelism #开源 #大模型训练

曝光 31808 · 评论 9 · 点赞 170 · 书签 66