小显存跑大模型，这事儿听起来像吹牛，AirLLM却真给做成了。 我研究了下它的门道，叫分层推理——不把整个模型一次性灌进显存，而是一层一层加载，算完一层立马… · @wangxiaoxin88 · TwKit

@wangxiaoxin88

小显存跑大模型，这事儿听起来像吹牛，AirLLM却真给做成了。 我研究了下它的门道，叫分层推理——不把整个模型一次性灌进显存，而是一层一层加载，算完一层立马清掉，硬生生让巨无霸挤进了小破卡。 顺手翻仓库还看到，405B的Llama 3.1在8GB上能跑，671B的DeepSeek-V3大概12GB，连Kimi K3那种2.8T的大家伙都压到4GB以下，MoE走的是按专家流式加载，同一套逻辑。 更骚的是100%开源，白蹭警告。 🔗 https://github.com/0xSojalSec/airllm

曝光 29 · 评论 1 · 点赞 0 · 书签 0