推文

@Zen_with_AI · 2026-10-12 03:24

第9期ML面试问题 Q：RLHF 训练分哪三步？每一步在干什么？ A： 监督微调 Supervised Fine-Tuning（SFT） 用人工写的高质量问答对模型做微调，让它先学会"好回答长什么样"。比如喂几千条"用户问→理想回答"，模型照着学格式和语气。 奖励模型 Reward Model 训练一个打分器：对同一个问题生成两个回答，让人工标出更喜欢哪一个，用这些偏好数据训出能自动打分的模型。之后就不用人工一个个看了。 PPO 强化学习 Proximal Policy Optimization 让模型自己生成回答，用奖励模型打分，按分数做强化学习，分数高的生成方式被加强。同时加 KL 散度约束，把模型拴在 SFT 版本附近，防止它为了刷分说胡话（reward hacking）。 （一句话记住：先学示范，再学打分，最后按分强化、别跑偏） 追问加分：DPO 和 RLHF 是什么关系？（直接偏好优化，直接拿偏好数据训模型，跳过显式奖励模型和 PPO，是更轻量的替代方案。） 更深度问题：奖励模型会被哪些花式刷分行为骗过？除了 KL 约束，工程上还有什么办法压住 reward hacking？

曝光 708 · 评论 3 · 点赞 10 · 书签 8 · 曝光/时 82.01561238046028