前阵子朋友问我，就一台普通电脑，能不能跑几百 GB 的大模型？我当时心里也没底。 后来刷到 colibri，才发现它的路子是压根不往显存里硬塞模型。 显存、… · @haoge6699 · TwKit

@haoge6699

前阵子朋友问我，就一台普通电脑，能不能跑几百 GB 的大模型？我当时心里也没底。 后来刷到 colibri，才发现它的路子是压根不往显存里硬塞模型。 显存、内存、硬盘三样凑一块用，权重按需从硬盘流式读进来，纯 C、零依赖，GitHub 上 Star 已经过了 2.5 万。 MoE 模型支持好几种，官方甚至演示过用 CPU 流式跑 744B 级模型，常驻内存压得相当低。 我比较中意的是它那个网页面板，专家路由怎么走的，实时就能看到。 显存不够，真不代表大模型就跟你无缘了。 🔗 https://github.com/JustVugg/colibri

曝光 91 · 评论 1 · 点赞 1 · 书签 0