推文

@Zen_with_AI · 2026-10-17 09:03

📐 ML 铅笔手稿 第 19期 📷✏️ 上期的问题：DPO 砍掉了奖励模型，偏好对练一步到位。但 RLHF 的另一条线 PPO 还在——它有个更贵的大件：价值网络（critic）。Critic 和策略模型一样大，训练时两边一起跑，显存翻倍，还动不动不稳定。2024 年的一篇论文（DeepSeekMath）问：能不能把 critic 也砍掉？ 第一幕：GRPO（组相对策略优化）。做法很直觉：对同一个提示 x，采样一组 G 个回答（比如 8 个），每个回答用奖励函数打分——数学题看答案对不对，代码看测试跑不跑得通。然后不请裁判，直接组内排名： A_i = (r_i − mean(r)) / std(r) 优势 = 自己的分减去组平均分，再除以组标准差。高于平均的回答，概率上调；低于平均的，下调。组内比较天然抵消了提示本身的难易——难提示大家分都低，相对差距才是信号。 第二幕：GRPO 的目标函数。PPO 那套 clip 机制留着，只把优势换成组相对优势，再加一个 KL 约束，别让策略跑离参考模型太远： J_GRPO = E[ (1/G) · Σ min( (π_θ / π_old) · A_i, clip(π_θ / π_old, 1−ε, 1+ε) · A_i ) − β · KL(π_θ || π_ref) ] 省下的东西很实在：没有 critic，训练显存几乎砍半；奖励可以用规则验证，不用再训一个奖励模型。DeepSeek-R1 就是用这套路练出推理能力的——规则奖励 + 组相对比较，硬生生把推理给"比"出来了。 工程上的两个提醒：奖励函数设计不好会被钻空子（模型学会了刷分，没学会做题）；一组回答全对或全错时，组内方差接近 0，优势全是 0，等于白采——采样温度和提示难度得搭配好。KL 系数 β 还是那个值得调的旋钮。 一句话：PPO 是请个裁判一个个打分，GRPO 是把一群回答放一起排名——相对好坏，就是信号。

曝光 631 · 评论 2 · 点赞 6 · 书签 1 · 曝光/时 379.6811754332597