💥 16G 卡跑 Qwen3.5：一半显存空着，只有二三十 tok/s。 元凶是 llama.cpp 的 fit，上下文当下限，64K 会撑到满额 256K… · @QwenAIFans · TwKit

@QwenAIFans

💥 16G 卡跑 Qwen3.5：一半显存空着，只有二三十 tok/s。 元凶是 llama.cpp 的 fit，上下文当下限，64K 会撑到满额 256K。关掉 fit、层钉死、上下文砍到 128K，解码到 74。 温馨提示：绿勾健康检查看不出。作者 5080 数。 来源：@adsilva264👇

曝光 209 · 评论 0 · 点赞 1 · 书签 1