把 96.5GB 的 GLM-5.3-Flash 塞进单张 4090 48GB，我们如何跑出 41.8 token/s？

@servasyy_ai · 2026-10-11 21:13

一个 96.5GB 体积的混合专家（MoE）模型，一张 48GB 显存的单显卡。 模型体积比显存大了一倍以上。在常规认知里，这种单卡异构推理要么直接

曝光 8478 · 评论 6 · 点赞 58 · 书签 53 · 曝光/时 8.163206421360483