coding agent 好不好用，就看两件事：policy 模型本身，还有夹在模型和环境中间、负责两者交互的那层 harness。Self-HPO 往前多… · @iluciddreaming · TwKit

@iluciddreaming

coding agent 好不好用，就看两件事：policy 模型本身，还有夹在模型和环境中间、负责两者交互的那层 harness。Self-HPO 往前多走了一步：这两边互相强化，只升级一边，另一边还停在原地，最后就是次优。 harness 通常是对着某一个 checkpoint 调的。模型一换，它犯错的方式也换了，昨天那套 harness 盯着的坑，今天可能已经不是坑。 反方向一样。harness 不动，policy 只能吃它导出来的轨迹，学到的东西出不了这个圈。所以只改 harness，是在给已经换过的模型补旧坑；只训模型，训练数据的边界还是 harness 划的。 Self-HPO 把两边放进同一个循环，让 harness 和 policy 交替进化，论文叫 recursive self-improving framework。这里说的「自我进化」，就是这两样东西轮流推对方。 摘要只写到「两边交替」，基准上涨了多少，一个数都没有。我最想知道的是验收这一环：harness 自己也进了循环以后，每一轮改动谁来验收、按什么标准收。policy 的轨迹本来就是 harness 引出来的，如果判断 harness 改得好不好的信号也出自同一个循环，两边可能一起往「看起来变好」的方向走，模型却并没有真的少犯错。

曝光 101 · 评论 1 · 点赞 0 · 书签 0