🚀 EAGLE-4 正式发布：大模型推理速度再破纪录，单请求吞吐飙至 960+ tokens/s！ 从 EAGLE-1、EAGLE-2 到 EAGLE-3，… · @realfxw · TwKit

@realfxw

🚀 EAGLE-4 正式发布：大模型推理速度再破纪录，单请求吞吐飙至 960+ tokens/s！ 从 EAGLE-1、EAGLE-2 到 EAGLE-3，Eagle 团队在投机采样（Speculative Decoding）与推理加速方向持续深耕。如今全新推出的 EAGLE-4 再次刷新速度上限，交出了一份惊人的性能答卷。 根据官方披露的基准测试，在 4× NVIDIA B300（TP4, BF16, T=0）硬件架构与 TokenSpeed 的加持下，EAGLE-4 在不同负载和模型架构下均表现出统治级性能： 📊 核心跑分与对比数据 Qwen3.8-27B（单请求极速模式）： EAGLE-4：961.6 tokens/s DFlash 2：672.6 tokens/s DSpark：618.6 tokens/s 原生 Vanilla：240.5 tokens/s 👉 达到原生吞吐的 4 倍！ 无论对比未加速基线，还是对比 DFlash 2、DSpark 等主流投机加速方案，均保持大幅领先。 Qwen3.8-27B（512 高并发吞吐）： EAGLE-4 聚合吞吐量：28,340 tokens/s 原生 Vanilla：21,203 tokens/s（提升 1.34 倍） DFlash 2：16,641 tokens/s（提升 1.70 倍） DSpark：14,229 tokens/s（提升 1.99 倍） 投机采样方案以往往往在单流场景表现亮眼，但在高并发下容易受到显存带宽与验证开销的拖累。而基于 SGLang 框架的测试显示，EAGLE-4 成功在高并发批处理中保持了强劲优势，真正实现了单流延迟与多流吞吐的兼顾。 NVIDIA Nemotron 3.5 Super VL（多模态大模型）： 单请求模式： 从 236 tokens/s 跃升至 647 tokens/s，带来 2.74 倍 加速。 512 并发模式： 聚合吞吐从 19,823 tokens/s 提升至 33,480 tokens/s，实现 1.69 倍 加速。 💡 工程与落地意义 端到端算力潜能释放： 全面适配新一代 NVIDIA B300 架构，通过 Drafter 结构调优与内核协同，将硬件在自回归解码阶段的算力利用率推向极致。 业务交互体验质变： 近千 tokens/s 的单请求输出，意味着复杂的思维链（Chain-of-Thought）推理、长文本处理与多模态交互几乎可以做到“瞬时生成”。对于代码补全、实时语音 Agent 等对延迟极其严苛的场景，将带来革命性的体验升级。 目前该方案已正式开源，官方提供了完整的评测配置与部署实现。 🔗 开源地址：https://github.com/eagle-hq/EAGLE-4 #AI #LLM #EAGLE4 #SpeculativeDecoding #NVIDIA #DeepLearning https://x.com/EagleCorp/status/2112660683670323531/video/1

曝光 17 · 评论 0 · 点赞 0 · 书签 0