推文

@Ryrenz · 2026-10-13 11:05

🪫 真的猛，TurboFieldfare 让一台 8GB 内存的 Mac 跑起 260 亿参数的 Gemma 4，内存占用压到 2GB 上下。 GitHub 上 6881 stars，仓库 7 月中才建，还不到三个月；光九月版本就从 0.8.0 一路推到 0.9.1，作者还在猛迭代。 8GB 的 Mac 想本地跑模型，平时的结局基本是开着就卡，或者只能挑三四 B 的小模型凑合。TurboFieldfare 的思路是干脆不把整个模型塞进内存：约 1.35GB 的共享核心常驻，剩下的专家权重按词从 SSD 现取现用，所以 26B 的模型也能在两个 G 的预算里转起来。实测 8GB 的 M2 MacBook Air 解码 5.1 到 6.3 token/s，换 24GB 的 M5 Pro 能到 31 到 35 token/s。 配套给了六样东西，从命令行到 Mac 原生应用，再到一个本地的 OpenAI 兼容服务端，你现有的工具链基本不用改。想让它看图也行，视觉组件单独装，M2 及以上支持；门槛是系统得 macOS 26 以上。 手里那台内存抠抠搜搜的 Mac，忽然又能再用两年了。 GitHub：https://github.com/drumih/turbo-fieldfare

曝光 1928 · 评论 1 · 点赞 27 · 书签 22 · 曝光/时 482.1912008382599