👀24G 卡跑千问3.8，速度和超长上下文只能二选一 llama.cpp 实测： 开 MTP 草稿头：约 110 tok/s，上下文只能压在 8K 左右 丢… · @QwenAIFans · TwKit

@QwenAIFans

👀24G 卡跑千问3.8，速度和超长上下文只能二选一 llama.cpp 实测： 开 MTP 草稿头：约 110 tok/s，上下文只能压在 8K 左右 丢掉 MTP、KV 用 q4_0：能开满 262K，速度掉到约 47 tok/s 两者叠在一起就起不来，或者首请求直接 OOM。 温馨提示：要长文档就关 MTP；要聊天快就别硬开 262K。 你本地选了哪边？ 来源：ComputingForGeeks👇 https://computingforgeeks.com/run-qwen3-8-27b-locally/

曝光 39 · 评论 0 · 点赞 0 · 书签 0