💥同一张 H100，跑千问3.8：Ollama 永远 33 tok/s，SGLang 能到 1725 有人拿一张卡测了五种推理引擎： SGLang 50 并… · @QwenAIFans · TwKit

@QwenAIFans

💥同一张 H100，跑千问3.8：Ollama 永远 33 tok/s，SGLang 能到 1725 有人拿一张卡测了五种推理引擎： SGLang 50 并发 1725 tok/s vLLM 1610 Ollama 还是 33 / 33 / 33，首 token 要等 381 秒 因为 Ollama 对这类混合注意力架构只开一个槽位。 自己玩用 Ollama 没问题，要上并发先换 vLLM 或 SGLang，并改默认参数。 温馨提示：SGLang 看启动日志有没有 capped to；vLLM 先把 max-num-seqs 调到真实并发。 来源：https://winder.ai/vllm-vs-ollama-vs-sglang-llm-inference-comparison/

曝光 270 · 评论 3 · 点赞 1 · 书签 1