推文

@Ryrenz · 2026-10-17 21:09

🏁 震撼，Rapid-MLX 能把手头这台 Mac 变成自己的本地大模型服务器，接口跟 OpenAI、Anthropic 一模一样，改个地址就能用。 GitHub 上 3985 star、432 个 fork，Apache 2.0 许可证。作者 Raullen Chai 是 IoTeX 的联合创始人兼 CEO，滑铁卢大学密码学博士，早年在 Oracle、Google 做过 Tech Lead，后来在 Uber 带密码学研发。 想在本地跑模型喂给编程 agent 的人大概都折腾过：推理服务装好了，结果工具调用时不时就崩，agent 一调工具就卡死，最后还是回去用云端 API。Rapid-MLX 专门啃的就是这块——它把「给 coding agent 提供靠得住的工具调用」当成主线，每次发版都拿 Claude Code、Codex CLI、Hermes、Aider、DeepSeek Harness 这五个客户端做一遍端到端验证。 配置也不用你自己写，一条 rapid-mlx launch 或 rapid-mlx agents，它直接把本地服务器的连接信息写进 Claude Code、Codex CLI、Aider 的配置里。速度上项目方给了自己的实测：Mac mini M4 Pro 跑 Qwen3.5-9B 4bit 贪婪解码，解码速度最高比 Apple 的 mlx-lm 快 4 倍，常见任务下快 1.5 倍。除了文本，它还能本地出图、生成视频，音频那边给了 44 个别名，覆盖语音合成、转写和声音克隆。 门槛是 macOS 加 Apple Silicon，另外它从 0.15.0 起默认开着匿名遥测，介意的话记得关掉。 闲着的那些 Mac 内存，终于有地方花了。 GitHub：https://github.com/raullenchai/Rapid-MLX

曝光 267 · 评论 2 · 点赞 2 · 书签 1 · 曝光/时 304.9743583561531