推文

@ethanzhang_web3 · 2026-10-13 19:32

同一个 125B 大模型 两个开源项目，两种完全相反的跑法 👇 模型都是 Qwen3.8-Flash-Next，1250 亿参数 🅰️ AirLLM：6GB 显存就能跑，还不量化 像一个只放得下一口锅的小厨房做满汉全席 一次只往显卡里搬一层，算完扔掉，再搬下一层 代价是：每吐一个字，整个模型都要从硬盘过一遍 能跑，但慢 🅱️ Strata：12G 显卡 + 32G 内存起步 把最常用的 4000 个「专家」摆在显卡上，其余放内存 再让一个小模型提前猜下一个词 RTX 5070 实测 94 token/秒，已经是正常聊天的流畅度 快，但模型被压到了 2～3 bit 一个省显存，一个抢速度 都叫「低配跑大模型」，体验差了十万八千里 所以问题来了： 你要原汁原味但慢的 还是压缩过但天天能用的？

曝光 41 · 评论 1 · 点赞 2 · 书签 0