推文

@neroking · 2026-10-14 10:51

AWS介绍，MoE推理的一个内核曾随token数量变化反复编译；消除重复编译的优化已合入vLLM。 Triton默认特化整数参数，遇到新值会触发即时编译。排查首字延迟时，可以对照固定与变化的请求长度，检查是否触发重新编译。

曝光 8 · 评论 0 · 点赞 0 · 书签 0