推文

@vintcessun · 2026-10-13 09:12

想把321B的GLM-5.3-Flash搬到本地，先看权重放不下时怎么办。 Maya的设计挺务实：常用专家留在显存，其余分到RAM和NVMe，随对话动态搬运。省下显存需求，代价是更依赖内存容量和SSD速度。 另一个值得借鉴的细节：DFlash2先在本机测，快超过5%才保留，不把“加速器”当必选项。还可选择跳过低权重的磁盘专家，换取速度，但会改变答案。这几处工程取舍比峰值跑分更值得看。 https://github.com/mw00/project-maya

曝光 87 · 评论 2 · 点赞 3 · 书签 0 · 曝光/时 104.11990846959326