Mac本地跑模型是真慢，忍了仨月不忍了靠 https://github.com/trymirai/uzu Ollama跑9B的Qwen，一秒二十来个toke… · @Easycompany333 · TwKit

@Easycompany333

Mac本地跑模型是真慢，忍了仨月不忍了靠 https://github.com/trymirai/uzu Ollama跑9B的Qwen，一秒二十来个token，写个函数能等到我咖啡都泡好两轮了，麻了。上周刷推刷到uzu，Rust写的推理引擎，专啃苹果芯片。 别人的实测我当场绷不住了，同一块M5，llama.cpp跑22 tok/s，它直接干到92，一杯冰可乐没喝完，答案全出来了，属实有点猛。我一直纳闷凭啥这么快，扒了文档才整明白，核心是投机解码（小模型先猜一串，大模型一口气全验了），一轮能过7.5个token。 上手也就两条命令的事，brew install mirai，拉个4B量化版大概2.5G，下完直接开聊。现在我起个OpenAI兼容的接口当本地后端，小脚本全走它，是真顶。就一个毛病，只吃苹果芯片，模型还是自家格式，GGUF得先转一次。反正M系芯片的可以试试，两分钟就有答案，这波血赚不亏。

曝光 10 · 评论 0 · 点赞 0 · 书签 0