推文

@fireandstart · 2026-10-15 04:17

这张清单把 agent stack 的分层现状说得很直观：Harness、遥测和工具接入已经逐渐成为可复用的基础设施，真正悬而未决的是 evals。也正因为前几层越来越容易拼起来，“能跑通一次”正在变成很弱的完成标准；更难的是判断它在任务变体、失败恢复和真实用户约束下是否仍然可靠。 我会把评测当成贯穿整条链路的观测面，而不是最后补上的一个打勾项。工具调用是否选对、权限边界有没有被遵守、轨迹能否解释失败、重试有没有把问题放大，都需要能重复的任务集和明确的通过标准。只看最终答案会漏掉过程风险，只看 trace 数量又无法说明任务是否完成。若把每次运行的输入、工具轨迹、成本、延迟和人工接管点连起来，才有机会区分“模型答得好”与“工作流可以托付”。 OTel 和 MCP 提供了很好的连接面，但标准化遥测本身不会自动带来标准化判断。接下来值得看到的是：跨 harness 的同一组任务如何比较，基准如何覆盖长尾与权限失败，评测结果怎样反过来指导工具设计和回归门槛。Evals 还在冒汗，大概正说明这一层最难被简单产品化，也最决定 agent 是否能从演示走到日常工作。

曝光 68 · 评论 1 · 点赞 1 · 书签 0