Unsloth 把 Mistral Le Chonk 的 1-bit GGUF 量化放出来了，1T 参数的 MoE 模型，233GB 就能在 Mac Stu… · @tarsixseveneig1 · TwKit

@tarsixseveneig1

Unsloth 把 Mistral Le Chonk 的 1-bit GGUF 量化放出来了，1T 参数的 MoE 模型，233GB 就能在 Mac Studio 上跑，保留 91% top-1 准确率。 我直接说：这波真正的意义是大模型本地部署的门槛被砍到了消费级硬件。以前 1T 模型想都别想，现在一台顶配 Mac Studio 加 256GB 内存就能摸到。精度掉了 9% 确实肉疼，但能跑和不能跑是两回事，先把门槛打下来，精度的事交给后面几轮迭代。

曝光 3 · 评论 0 · 点赞 0 · 书签 0