一张 12GB 显存的游戏显卡，跑 1250 亿参数的千问大模型，这事第一眼看着有点离谱。 Strata 的思路我觉得挺聪明。模型由 24576 个小专家组… · @GitHub_Daily · TwKit

@GitHub_Daily

一张 12GB 显存的游戏显卡，跑 1250 亿参数的千问大模型，这事第一眼看着有点离谱。 Strata 的思路我觉得挺聪明。模型由 24576 个小专家组成，每个字只用到其中 10 个，最常用的几千个放显卡，全部放内存，CPU 同时帮着算。 作者拿 RTX 5070 配 64GB 内存的普通游戏电脑测过，每秒能写出 53 到 94 个 token，比我们看字还快，项目也已经涨到 2.6 万 Star 了。 GitHub：http://github.com/Niko1221/Strata Windows 双击一个文件就开始装，Linux 跑个脚本，装好在浏览器里就能聊，Claude Code、Codex 也能直接接上用，数据全程不出电脑。

曝光 1557 · 评论 5 · 点赞 5 · 书签 9