推文

@vintcessun · 2026-10-17 20:04

把模型压到三元权重不难，难的是别把事实知识和准确率一起压没。 https://arxiv.org/abs/2610.21808 RoleQ 按单元读取或写入残差流的角色分配量化尺度，再结合旋转、三元 GPTQ 和短暂尺度蒸馏，无需昂贵再训练。还可用 Fisher 找出最敏感单元，少量增加第二个三元平面。Qwen3-8B 达到 1.59 bpw，零样本准确率 60.3%；收益是更低存储与带宽，代价是量化流程更复杂。

曝光 78 · 评论 2 · 点赞 2 · 书签 0 · 曝光/时 61.868356579612524