同一台 Mac 跑本地大模型，69 tokens/s 和 161 tokens/s 的差距，居然来自推理引擎。 开源项目 Kapitsa，专门针对 Appl… · @TiagerBao · TwKit

@TiagerBao

同一台 Mac 跑本地大模型，69 tokens/s 和 161 tokens/s 的差距，居然来自推理引擎。 开源项目 Kapitsa，专门针对 Apple Silicon 优化。 官方测试：M4 Pro、48GB 内存，运行 Qwen3.6 35B-A3B（4-bit）： llama.cpp：69 tokens/s Ollama：89 tokens/s Kapitsa：161 tokens/s 核心是 KFlash，通过树状推测解码，一次验证更多候选 Token，减少重复计算。 还支持： Claude Code、Codex、OpenCode 接入本地模型 OpenAI / Anthropic 兼容 API SSD 缓存，重启后复用上下文 多 Agent 并发推理 安装只需： brew install nace-ai/tap/kapitsa 数据来自项目自己的 Benchmark，实际速度取决于 Mac 配置。 Mac 跑本地 Coding Agent，值得拿来和 Ollama 实测一轮。 GitHub：https://github.com/nace-ai/kapitsa #AI #Agent #LLM #ClaudeCode #Codex #AppleSilicon #OpenSource

曝光 495 · 评论 9 · 点赞 5 · 书签 1