🚀一张 3090，把千问3.8-27B 在 vLLM 上开到 64 路并发，合计破一千 tok/s 开源项目 HyperQwen：单卡 24G，3090 限… · @QwenAIFans · TwKit

@QwenAIFans

🚀一张 3090，把千问3.8-27B 在 vLLM 上开到 64 路并发，合计破一千 tok/s 开源项目 HyperQwen：单卡 24G，3090 限 250W 实测。 单人聊天约 127 tok/s，64 并发合计约 1035 tok/s，最长可开到 15 万上下文。 两条命令就能起：docker compose --profile single 或 batch。 视频是官方录的：先看单路吐字，再切 64 路一起跑。 温馨提示：第一次会拉约 9.5GB 镜像，再本地 requant 一次模型大约 20GB，等完再测速度。 你家 24G 卡跑千问，单路现在大概多少 tok/s？ 来源：GitHub syv-ai/HyperQwen👇 https://github.com/syv-ai/HyperQwen

曝光 97 · 评论 0 · 点赞 1 · 书签 1