GRPO 的优势估计,其实有两笔账:不同任务的奖励怎么可比,序列里的信用怎么分。TACE 把它们拆开处理。 https://arxiv.org/abs/26… · @vintcessun · TwKit
@vintcessun
GRPO 的优势估计,其实有两笔账:不同任务的奖励怎么可比,序列里的信用怎么分。TACE 把它们拆开处理。 https://arxiv.org/abs/2610.40250 先按组内奖励的秩映射到标准正态尺度,缓和重尾和二元奖励带来的分布差异;再按 token 证据重分配信用,并把权重归一到均值为 1,保证总信用不增不减。这个“预算中性”视角很清楚,但结果并非全面领先,弱证据和稀疏奖励仍是边界。
曝光 86 · 评论 0 · 点赞 1 · 书签 1
查看原帖