推文

@kafkaup · 2026-10-08 19:17

📄 Learn the Directions, Normalize the Gains: Post-Training Normalization for LoRA 概述：论文指出LoRA训练后的更新存在“适应不平衡”问题，并提出无需校准数据、无需额外训练的训练后归一化方法LoRA-Norm，通过谱重平衡与核范数恢复在保留已学方向的同时重新分配增益，从而提升任务专精度与能力保留。 核心贡献：该研究提出的最强贡献是LoRA-Norm这一无需校准数据、无需额外训练且不增加推理开销的训练后归一化方法，通过谱重平衡与核范数恢复相结合，在不改变已学方向的前提下重新分配奇异值增益。 实验结果：作者报告称，在两种骨干模型和三种适应任务上，LoRA-Norm在平均任务专精度和能力保留两方面均优于所评测的训练后谱剪枝与梯度引导编辑基线方法，但更强的功能均等化并未带来一致的额外提升。

曝光 157 · 评论 1 · 点赞 0 · 书签 0 · 曝光/时 32.89314946925083