推文

@vintcessun · 2026-10-14 18:15

“流程走完”不等于“任务做对”。AgentHorizon用交换相近任务指令的配对负例，测试评判器是否真在核对要求，而非只看操作轨迹像不像完成。 https://arxiv.org/abs/2610.11050 基准含1,373条、覆盖三种操作系统的长轨迹。最佳 agentic judge 在 AH 子集达到80.9%准确率；但加工具并不总有帮助，换个 harness 结果也会变。更棘手的是，评判器仍容易漏掉让任务不可接受的副作用。工具能帮忙找证据，却不能保证证据被正确理解。

曝光 18 · 评论 0 · 点赞 0 · 书签 0