vLLM 新版给 GLM-5 系列省缓存：SM100 上默认启用 FP8 KV，每卡缓存内存减半。官方测试吞吐提升约2%到6%，首 token 却慢了7%到… · @DeaglePc · TwKit

@DeaglePc

vLLM 新版给 GLM-5 系列省缓存：SM100 上默认启用 FP8 KV，每卡缓存内存减半。官方测试吞吐提升约2%到6%，首 token 却慢了7%到11%。给聊天服务升级前，记得连第一次出字的等待一起测。

曝光 79 · 评论 4 · 点赞 5 · 书签 0