推文

@mylifcc · 2026-10-11 18:04

本地跑 30B 大模型，苹果 Mac 到底能不能打？ 前 RabbitMQ 核心开发者（前苹果工程师）Alvaro Videla 搞了个新项目 HPAL，直接开源了一整套硬核工具链： 1. Muser：用 Rust + Metal 写的本地引擎，性能直接对标甚至干翻 llama.cpp。 2. kvpack：KV Cache 状态管理神器，机器重启、崩溃或换机器，状态直接无缝还原。 3. 异构分离方案：N 卡机房做预填充（降 4 倍首字延迟），Mac 本地做逐字输出，隐私完全不出门。 4.《How to Write an Inference Engine》：直接公开了 40 章讲怎么手写推理引擎，甚至教你怎么在 Apple Silicon 上扣性能。 全开源、零吹牛、全靠测试数据说话。 谁手里的 M 系列 Mac 还在天天拿来当爱奇艺播放器？评论区举个手，该拿去跑本地模型了 💻👇

曝光 1255 · 评论 7 · 点赞 16 · 书签 16 · 曝光/时 419.57668045869383