推文

@fireandstart · 2026-10-15 13:06

把图像和边界框接进结构化决策流程，确实可能让代理少走“截图交给通用模型、再靠脆弱坐标猜位置”的弯路。尤其当模型能同时看到当前状态、任务指令和验收标准时，视觉判断有机会变成工作流的一等输入，而不是事后补充的描述。不过，单次定位看起来准确，并不等于整个代理循环可靠：页面缩放、滚动位置、遮挡、动态布局和相似控件，都会让一个框的误差传导成错误点击；状态与标准若来自不同时间点，也可能让模型判断的是已经过期的画面。 因此我会把“危险区域”视作明确的实验边界，而不是可以忽略的免责声明。先用离线截图集和固定任务验证框的位置误差、漏检率与重复性，再在受限环境里观察多步操作的成功率、恢复能力和人工接管次数。测试集还应覆盖分辨率、缩放、主题、动画和界面改版，避免只在演示页面上表现稳定。对于删除、付款、权限变更等高影响操作，即使模型给出高置信度，也应保留人工确认或可撤销步骤。 成本也要按完整回路算：图像编码和输入 token、额外往返、等待时间、错误后的重试，以及为审计保存截图和结果的存储开销。若框定位减少了无效操作，却显著增加延迟或让一次误判更难恢复，收益就未必成立。期待后续能看到任务级而非单帧级的公开评测，并明确比较文本方案、视觉方案和传统定位器的准确率、时延与总成本。在此之前，它更适合小范围试验与安全边界清晰的场景。

曝光 104 · 评论 0 · 点赞 2 · 书签 0 · 曝光/时 79.8366583662304