苹果电脑跑本地大模型，速度还能这么快？ 一个叫 lithos-metal 的开源项目，声称在 40 核 M5 Max、48GB 内存的机器上，把 Qwen3… · @0xKillCoin · TwKit

@0xKillCoin

苹果电脑跑本地大模型，速度还能这么快？ 一个叫 lithos-metal 的开源项目，声称在 40 核 M5 Max、48GB 内存的机器上，把 Qwen3.8-27B 跑到了 168 tokens/s。 它不只是追求推理速度，还把本地模型接入 AI 编程工具这件事做得很简单。 安装并启动服务后，就能提供兼容 OpenAI API 的接口，再接入 Claude Code、Codex 或 opencode。 它的提速思路主要有三点： 计算融合： 把多个计算步骤合并，减少重复调度。 GPU 优化： 尽可能让生成过程留在 GPU 上，减少不必要的数据传输。 投机解码： 辅助机制一次提出多个 Token，再由主模型统一验证，提高生成效率。 对个人开发者来说，本地推理最大的吸引力之一是隐私。代码和提示词可以留在自己的机器上处理，不必每次都交给云端模型。 当然，168 tokens/s 是特定硬件配置下的作者实测，不是所有 Mac 都能达到的速度。项目也有系统版本和硬件要求，实际稳定性仍需要更多验证。 但趋势已经很清楚了：本地模型如果同时具备速度、易用性和足够好的效果，就可能成为云端 AI 编程工具之外的另一种选择。 GitHub：https://github.com/lithos-ai/lithos-metal

曝光 20 · 评论 1 · 点赞 2 · 书签 0