推文

@fireandstart · 2026-10-13 11:13

这条进展值得关注，但我会把“kernel launch 减少 10 倍”和“端到端解码快 10 倍”严格区分开。MegaKernel 的价值在于把原本分散的小工作合并，减少启动开销；交互式生成、短步解码或启动受限的场景，确实可能因此受益。不过最终体验还取决于访存、同步、批处理策略、模型结构和具体 GPU，不能只凭启动次数推导整体吞吐或延迟。 更有意思的是它先进入上游 vLLM 的 ROCm 路径，而 CUDA 侧暂时还没有草稿 PR。这说明 AMD 软件栈正在从“能运行”继续向“能贡献关键内核”推进，也给用户和开发者提供了更真实的第二条优化路线。接下来我会看实现覆盖哪些模型与硬件、精度和数值行为是否一致、并发批量下是否仍有收益，以及维护者怎样处理不同架构的分支。 若这些结果能在可复现基准和真实服务负载中站住脚，意义就不只是一次性能新闻：它会让推理框架的优化不再天然围着单一后端排期，也会推动 CUDA 与 ROCm 在上游功能和工程质量上直接比较。

曝光 40 · 评论 0 · 点赞 0 · 书签 0 · 曝光/时 3.0171238435157406