33B 的模型，塞进一张 24GB 的 4090 里跑起来了，我亲手测的。 这个月我在这张卡上跑了两个模型，数字都在这儿： 1️⃣ Qwen3.8-27B，… · @ReignSwords · TwKit

@ReignSwords

33B 的模型，塞进一张 24GB 的 4090 里跑起来了，我亲手测的。 这个月我在这张卡上跑了两个模型，数字都在这儿： 1️⃣ Qwen3.8-27B，4-bit：实测占 17GB，单张 4090 稳稳跑，SWE-bench Pro 61.7，反超 Opus 4.6 的 53.4 2️⃣ Nanbeige4.3-33B，4-bit：实测约 20GB，单张 4090 勉强跑，长上下文得悠着点 3️⃣ 同一个 33B，满血 BF16 要 66GB，官方示例得 4 张卡并行，消费级就别想了 换算口诀就一行，值得收藏： 显存 ≈ 参数量 × 量化位数 ÷ 8 27B × 4bit ÷ 8 = 13.5GB 权重，我实测 17GB，多出来的 3.5GB 是 KV 缓存和运行时开销 所以 4090 的天花板很好算：24GB 的卡，4-bit 能塞到 30 多 B；70B 光权重就要 35GB，没戏 最值的不是算力，是半夜三点想跑就跑，不用跟任何人申请额度 你手里那张卡现在跑的什么模型？4090 还是 3090，4-bit 还是满血？同款卡的互关一下，以后换模型先通个气 🔵 蓝V互关 | Fellow Premium members, let's connect! 欢迎互关，一起交流 AI 与科技 👥

曝光 138 · 评论 6 · 点赞 1 · 书签 0