🚀 本地大模型推理又杀出一匹黑马！如果你平时用 Ollama、llama.cpp 或 LM Studio，强烈推荐关注刚刚突破 7k Star 的开源推理引… · @realfxw · TwKit

@realfxw

🚀 本地大模型推理又杀出一匹黑马！如果你平时用 Ollama、llama.cpp 或 LM Studio，强烈推荐关注刚刚突破 7k Star 的开源推理引擎：Magnitude。 官方基准测试显示，在 Mac（Apple Silicon）和 NVIDIA 平台上，它的 Prefill 提速约 1.3x，而 Decode 解码速度更是比 Ollama 直接快了 2 倍以上。 🔥 为什么它能做到 2x 性能飞跃？ 针对硬件自动微调 Kernel：传统引擎为了通用性只能采用“一刀切”的编译核。而 Magnitude 在下载模型时，会花大约 1 分钟在你的具体芯片上进行快速搜索压测，寻找 GPU 线程组合与显存预加载的最佳方案，彻底榨干你的硬件算力。 开箱即用的投机采样（Speculative Decoding）：为每个主流开源模型都内置了适配的快速 Drafter，大幅拉低单 Token 延迟。 弹性量化 KV Cache：将单会话显存占用直接减半，任务结束后即时释放，多并发任务更不容易爆显存。 共享前缀缓存（Prefix Caching）：多会话并发时能高效复用 Prompt 上下文，彻底消灭重复前缀计算。 一键集成主流 Coding Agent：桌面端提供无缝面板，一键直连 Pi、OpenCode、Hermes、Codex、Claude Code、Cline 等工具，同时完全支持标准 OpenAI 格式接口。 全平台支持 macOS、Linux 和 Windows，不管是 Apple Silicon、NVIDIA、AMD 还是纯 CPU 都能跑。采用 Apache-2.0 开源协议，模型与对话数据 100% 保留在本地，无需网络也能直接推。经常在本地跑 Agent 或 LLM 的朋友非常值得上手体验！ https://github.com/magnitudedev/magnitude #AI #开源 #LLM #机器学习 #Ollama

曝光 26 · 评论 0 · 点赞 0 · 书签 0