告别本地大模型“玄学调参”：我用单张 RTX 3060 (12G) 稳跑 Qwen3.8-27B，实测飙出 30 tok/s

@my189 · 2026-10-17 09:03

玩本地大模型的人，99% 都经历过这种深夜崩溃： 兴冲冲花两个小时拖下来几十 GB 的权重，开始无尽的“盲人摸象”—— ❌ 到底下 Q4_K_M、IQ3_XS 还是 EXL3？ ❌ 引擎用 llama.cpp、vLLM 还是 TabbyAPI？ ❌ 上下文开到

曝光 144 · 评论 1 · 点赞 2 · 书签 2 · 曝光/时 63.587077599612854