推文

@Ryrenz · 2026-10-16 11:05

🦾 太野了，Strata 能让家里那张游戏显卡跑起 1250 亿参数的大模型，而且全程不出本机。 Strata 9 月 24 号才建仓库，三周就冲到 2.5 万 star，2574 个 fork、935 个 issue 还开着，发版几乎一天一个。 以前想试一把这种量级的模型，路只有两条：要么往云端接口充钱，按 token 计费，聊两句就心疼；要么老实承认自己没服务器，直接放弃。Strata 的思路是把模型那 24576 个专家模块拆开，显存放一部分、内存放一部分、处理器再接一部分，查找表丢到 SSD 上，再用小模型先猜、大模型校验的推测解码来提速。一张 12GB 显存以上的 NVIDIA 或者 AMD 卡、32GB 内存起步，Windows 10/11 和 Linux 都能装，模型下载约 70GB。 跑起来之后它开的是本机 127.0.0.1:8080 的接口，OpenAI 和 Anthropic 两种格式都兼容，Claude Code、Cursor、Codex、GitHub Copilot 直接挂上去就能用，聊天、写代码、读图都行。 围着它长出来的东西也不少：有人把它搬上 AMD 的老 Instinct 卡，有人拿两张 V100 跑出 512K 上下文，有人做成了 ComfyUI 的节点，还有人基于它做了能多跑几种模型的 PolyStrata。 数据全留在自己机器上，这一点比速度更让人安心。 GitHub：https://github.com/Niko1221/Strata

曝光 34 · 评论 1 · 点赞 1 · 书签 0