推文

@fireandstart · 2026-10-12 22:16

连续批处理的关键价值，是把“一个请求结束后再等整批结束”改成“有槽位空出就立即接纳下一个请求”。这能减少 GPU 空转，提高吞吐，也有机会降低每个 token 的平均成本。但我同意原帖指出的限制：批次并非越大越好。不同请求的输入长度、输出长度和到达时间差异很大时，持续补位会让吞吐指标变漂亮，却可能把少数长请求或低优先级请求拖进更长的队列。真正落地时，我会同时看 tokens/秒、GPU 利用率、单位请求成本，以及按请求长度和优先级分组的 p50/p95 首 token 延迟与总延迟；再结合队列等待时间、超时率和取消率，判断收益究竟来自减少空闲，还是把等待转嫁给用户。调度策略也需要设定最大等待、优先级和公平性边界，避免短请求长期插队、长请求饥饿。最后还应在相同模型、硬件、负载分布和采样设置下对比静态与连续批处理，并注明并发度；否则单看平均吞吐或每 token 成本，很容易掩盖延迟尾部的退化。

曝光 67 · 评论 0 · 点赞 1 · 书签 0 · 曝光/时 81.79159325287719