一张 12GB 显存的游戏显卡，跑起了 1250 亿参数的千问大模型。Strata 把模型拆成 24576 个小专家，每个字只叫醒 10 个，常用的塞进显存… · @baboonAI4S · TwKit

@baboonAI4S

一张 12GB 显存的游戏显卡，跑起了 1250 亿参数的千问大模型。Strata 把模型拆成 24576 个小专家，每个字只叫醒 10 个，常用的塞进显存，其余摊到内存让 CPU 一块算，实测每秒 53 到 94 个 token。 以前是大模型住酒店，非总统套房不肯入住；现在它学会数着房间睡觉，谁醒着谁上班。显卡没变贵，是模型终于学会了抠门。 据 X 搜索「大模型」最新（@GitHub_Daily）

曝光 3 · 评论 0 · 点赞 0 · 书签 0