压缩模型最容易被忽略的损失，不是答题变差，而是梯度信息被剪没了。 https://arxiv.org/abs/2610.18516 CACTUS 用 ADM… · @vintcessun · TwKit

@vintcessun

压缩模型最容易被忽略的损失，不是答题变差，而是梯度信息被剪没了。 https://arxiv.org/abs/2610.18516 CACTUS 用 ADMM 做曲率感知剪枝，同时保留层输入激活和反向梯度；支持纯剪枝及稀疏加低秩修正。论文称速度比同目标的 LLM-Surgeon 快逾 10 倍。Qwen3-4B 剪枝 50% 后，C4 困惑度差距缩小 45%；压缩模型选出的 5% 数据微调新模型，BBH 得分接近稠密模型选数据。价值在于压缩后仍可做数据选择；目前还没覆盖量化和混合压缩。

曝光 1 · 评论 0 · 点赞 0 · 书签 0