推文

@kafkaup · 2026-10-17 13:16

📄 Decentralized SGD under Heavy-Tailed Noise: Optimal Convergence Rates and the Role of Gradient Clipping 概述：该论文通过对一致性误差的精细分析，证明带梯度裁剪的去中心化SGD在重尾噪声下能够实现阶最优收敛率与随代理数的线性加速，而归一化版本的去中心化SGD则可能无法收敛。 核心贡献：该论文最主要的贡献是证明带梯度裁剪的去中心化SGD在重尾噪声下可实现随代理数线性加速的阶最优收敛率，这是首次针对带裁剪的去中心化方法证明该性质。 实验结果：作者称带裁剪的去中心化SGD在有界p阶矩重尾噪声下对光滑非凸目标实现了高概率与期望意义下的阶最优收敛率，并证明了随代理数的线性加速，同时通过数值实验验证了理论，但摘要未给出具体数值结果。

曝光 95 · 评论 1 · 点赞 0 · 书签 0 · 曝光/时 54.95938704341893