炸裂！4GB 显存硬闯 700 亿大模型
@yangleiocx3 · 2026-10-11 20:35
700 亿参数，约 141GB 权重。AirLLM 给只有 4GB 显存的显卡，打开了一条挑战大模型的路线。 AirLLM 的做法是：把权重先拆成层，每次只把当前要算的一层搬进 GPU，用完就释放，再搬下一层。 作者宣称，单张约 4GB
曝光 176 · 评论 0 · 点赞 0 · 书签 0 · 曝光/时 53.6533879844873
@yangleiocx3 · 2026-10-11 20:35
700 亿参数，约 141GB 权重。AirLLM 给只有 4GB 显存的显卡，打开了一条挑战大模型的路线。 AirLLM 的做法是：把权重先拆成层，每次只把当前要算的一层搬进 GPU，用完就释放，再搬下一层。 作者宣称，单张约 4GB
曝光 176 · 评论 0 · 点赞 0 · 书签 0 · 曝光/时 53.6533879844873