vLLM × NVIDIA 刚把 Kimi K3（2.8T）推到 423 tok/s/user 同一套 GB300，纯靠新 decode megakerne… · @VeknQAQ · TwKit

@VeknQAQ

vLLM × NVIDIA 刚把 Kimi K3（2.8T）推到 423 tok/s/user 同一套 GB300，纯靠新 decode megakernel，快约 1.68× batch1 + DSpark 能到 842 tok/s；官方帖已出 推理战场已经从「堆卡」改成「写内核」了

曝光 26 · 评论 0 · 点赞 1 · 书签 0