有人分享了自己用 vLLM 提吞吐的架构笔记 核心不是换更大的卡 是把推理链路里的每一环都抠了一遍 批处理、缓存、调度，哪个都不能只看一半 吞吐上不去的时候… · @kun70706 · TwKit

@kun70706

有人分享了自己用 vLLM 提吞吐的架构笔记 核心不是换更大的卡 是把推理链路里的每一环都抠了一遍 批处理、缓存、调度，哪个都不能只看一半 吞吐上不去的时候 先别急着加机器，先看链路卡在哪 你的推理服务，瓶颈一般卡在哪一环？

曝光 269 · 评论 3 · 点赞 5 · 书签 0