4GB显存跑70B大模型，这事还真被AirLLM办成了。 它玩的招叫分层推理：不把整个模型一股脑塞进显存，而是一层一层往里加载，算完一层就甩掉，硬是把巨无霸… · @bkdgiffug · TwKit

@bkdgiffug

4GB显存跑70B大模型，这事还真被AirLLM办成了。 它玩的招叫分层推理：不把整个模型一股脑塞进显存，而是一层一层往里加载，算完一层就甩掉，硬是把巨无霸塞进小破卡。 更骚的是100%开源，白蹭警告。 🔗 https://github.com/0xSojalSec/airllm

曝光 234 · 评论 1 · 点赞 2 · 书签 2