💥 同样 131K 上下文，千问本地速度差了 6 倍 Ollama 默认 F16 KV 缓存一拉长就掉到 CPU 4090 实测：131K → 只剩 16.… · @QwenAIFans · TwKit

@QwenAIFans

💥 同样 131K 上下文，千问本地速度差了 6 倍 Ollama 默认 F16 KV 缓存一拉长就掉到 CPU 4090 实测：131K → 只剩 16.4 tok/s 改一行：OLLAMA_KV_CACHE_TYPE=q4_0 同样 131K，全在 GPU → 101.8 tok/s 你还开着默认缓存吗？ 温馨提示：改完要 systemctl restart ollama；262K 在 Ollama 上仍会挤一点 CPU 来源：ComputingForGeeks Qwen3.8-27B 实测👇 https://computingforgeeks.com/run-qwen3-8-27b-locally/

曝光 224 · 评论 0 · 点赞 2 · 书签 0