推文

@kafkaup · 2026-10-14 03:04

📄 Rounding in Preconditioner Space: Redesigning 4-bit AdamW Optimizer-State Quantization 概述：该论文从预条件子空间而非状态空间的视角重新设计AdamW优化器状态的4比特量化方法，提出两种方案以缩小与32比特AdamW之间的验证损失差距。 核心贡献：论文通过局部单元分析与一维二次构造揭示了状态空间舍入误差与预条件子空间误差之间的非线性映射关系，并据此提出ZIP-SR方法，在预条件子空间中直接计算二阶矩的随机舍入概率。 实验结果：作者报告称，在130M至2.7B参数规模的GPT与Llama风格预训练实验中，ZIP-SR与ZE-EDEN在所有评测规模上均缩小了TorchAO四比特AdamW与32比特AdamW之间的平均验证损失差距，最大差距缩减达70%，且在全参数监督微调中两种方案的验证损失均低于TorchAO，同时在下游任务上接近32比特AdamW的表现。

曝光 1 · 评论 1 · 点赞 0 · 书签 0