推文

@wangxiaoxin88 · 2026-10-11 00:24

Ollama 是不是总觉得有点沉？Shimmy 这个新选择可以留意一下。 纯 Rust 打造，单文件部署，体积压得很小，启动几乎是一瞬间的事。 ⚡ 接口跟 OpenAI API 对齐，现有工具改个地址就能连上 📦 Hugging Face、Ollama、本地 GGUF 模型都能自动识别 🦀 不用装 Python，也不用碰 C++ 🎮 跑在 WebGPU 上，NVIDIA、AMD、Intel、Apple Silicon 都吃 我自己试下来的感觉是，如果你只是想要一个够轻的本地推理服务，不太想背 Ollama 那套依赖，Shimmy 值得放进备选清单。 官方仓库现在已经到 2.x 了。 🔗https://github.com/Michael-A-Kuykendall/shimmy

曝光 70 · 评论 0 · 点赞 0 · 书签 0 · 曝光/时 8.49676894665383