推文

@mikechen944504 · 2026-10-17 13:05

今天 Hugging Face 论文榜第一，656 赞 🔥 老师模型做完强化学习后，前后两个版本之间的变化，真的该原封不动教给学生吗？ Waypoint-OPD 的回答是：不一定 他们在 RL 中途留了一个检查点，把老师的变化拆成前后两段，看偏好是不是朝同一个方向走。方向一致的就传给学生，方向打架的那一段直接丢掉。 就这么一个很细的改动，在数学和代码推理上，6 个「领域 × 学生」组合的平均分全部第一。 老师是 Qwen3-4B，学生分别是 8B、14B、30B-A3B 蒸馏不是把东西全抄过去，而是要挑着教。

曝光 14 · 评论 0 · 点赞 0 · 书签 0 · 曝光/时 3.973085357419278