Google Research 最新开源了 Harness²：递归式智能体 Harness 优化框架 Harness² 解决的两个开放世界难题 1. 测试时… · @shao__meng · TwKit

@shao__meng

Google Research 最新开源了 Harness²：递归式智能体 Harness 优化框架 Harness² 解决的两个开放世界难题 1. 测试时遇到的是没见过的任务，没有 ground-truth 验证器。在线改 harness 时你不知道答案对不对，无法用“分数涨了没有”来指导编辑。 2. 递归自我改进（RSI）通常是任务特化的，换个任务就失效，无法泛化积累。 开源地址：https://github.com/google-research/harness2 # 核心机制：两层递归 第一层：任务级递归，Propose–Probe–Compose（对比式改进环） · Propose（提案）：先跑一次当前 harness 的参考执行。注意，这次执行揭示的是“harness 如何表现”，而不是“交付物是否正确”。基于任务、参考轨迹和历史，提出两个候选 harness：一个针对跨领域通用的代理性缺陷（规划、工具使用、上下文管理、委派），一个针对当前领域的知识、流程和约束。每个候选都是可直接执行的文件级编辑。 · Probe（探针）：两个候选在同一任务、同等的模型和环境条件下执行，与参考执行对比得到行为对比；编辑是否缓解了目标缺陷、毫无变化、还是造成回归。论文明确说这些对比只“为后续组合提供信息，而非验证任务正确性”。 · Compose（组合）：读取参考执行、两个候选、它们的 diff 和全部执行证据，有选择地构建后继 harness：合并被证据支持的修改、修订冲突、采纳其一、或保持原样。每个决策必须绑定一个具体观察，而不是假想的分数增益。 这一步是整个工作的关键创新：在没有标准答案的情况下，用“同任务下的 A/B 行为对比”替代分数反馈来指导编辑，绕开了开放世界没有验证器的死结。 第二层：harnessing 级递归，持续改进的 improvement harness 每个任务结束后，框架对完整的改进记录做反思，把被采纳的 harness 和有证据支持的教训写入一个按领域组织的持久库。要点有三： · 教训只有在执行对比支持时才保留——单次选出了好输出不等于可迁移； · 库里存的是可执行的组件文件而非散文式摘要，配一份 EXPERIENCE.md 记录适用场景和证据； · 下一个任务仍从公共基础 harness 出发（执行 harness 不继承），但 Propose/Probe/Compose 由更新后的库引导；即“改进 harness 本身”也在被改进，这就是标题里 Harness² 的双重含义。 两种扩展模式：parallel（同时探测 k 组候选，k 个独立组合会话）和 sequential（k 步链式精炼，逐步携带累积证据），两种模式从 k=1 到 5 均单调提升。 八个可编辑组件 - 按作用分组 · 上下文构建：系统提示词、护栏、记忆，每次调用都生效 · 工具接口：工具指引、Skills，Skills 按需加载不占成本 · 编排：subagents，唯一会增加推理上下文的组件 · 脚本：新确定性能力，执行而非推理 · 插件：TypeScript 中间件，“在工具环内强制一种行为，而非指令它” 主要结果（k=1 单步，编辑器为 Claude Opus 4.8） WorkBuddy-Bench · Gemini 3.5 Flash：+5.1 (OpenCode) · GLM-5：+11.5 (OpenCode，64.2→75.7) JobBench · Gemini 3.5 Flash：+4.5 (OpenCode) · GLM-5：+3.6 (OpenCode) LAB 部分通过率 · Gemini 3.5 Flash：+4.0 (Codex) · GLM-5：+11.8 (OpenCode，59.6→71.4) 更值得注意的发现： · 越弱的执行模型获益越大，且 GLM-5 换上改进后的 harness 反超了 Gemini 的基础分数，“换 harness”在某些场景下顶得上“换模型”； · 改进后的 harness 跨模型迁移（为 Gemini 精炼的 harness 给 GLM-5 在 Code 子集带来 +17.3），也胜过 Claude Code、Codex 的固定生产 harness 4.6–5.8 分； · 执行器和编辑器用同一个模型也能涨（GLM-5 自编辑在 LAB 上 +13.7），说明不依赖更强的“老师”模型； · 库的消融：去掉 library 在 WorkBuddy-Bench 上损失 3.1 分，验证了 harnessing 级递归的价值；库还能跨基准迁移（JobBench 的库迁移到 WorkBuddy-Bench 仍有 +0.6~+2.9）。

曝光 718 · 评论 9 · 点赞 12 · 书签 6