推文

@JMkernt · 2026-10-13 01:14

电脑不够贵，跑不了大模型？这事被打碎了。 JustVugg/colibri，一个纯 C 写的开源引擎，GitHub 四万多星。 MoE 模型有个特点：每步只用几十 B 参数干活，剩下几百 B 专家权重扔硬盘里，用时再读。 所以 744B 的 GLM-5.2、DeepSeek V4 这些大块头，16G 内存的普通电脑也能跑，显卡不是刚需。 上手挺懒人：下载 zip，双击 START-HERE.bat，它自己看配置、推荐模型、下载、开个面板就能聊。 代价是速度——NVMe 固态快得多，别指望和云端 API 对打。 本地想折腾大模型的可以看看： https://github.com/JustVugg/colibri

曝光 22 · 评论 0 · 点赞 0 · 书签 0 · 曝光/时 1.8227700941422018