同一个 Claude，加一道执行前检查，有些任务的表现就能差出一倍。 Elvis 昨天分享了一篇 IBM 团队的论文，叫 JevAct。研究者没有更换负责干… · @sleepy0x13 · TwKit

@sleepy0x13

同一个 Claude，加一道执行前检查，有些任务的表现就能差出一倍。 Elvis 昨天分享了一篇 IBM 团队的论文，叫 JevAct。研究者没有更换负责干活的模型，也没改它能用的工具，只是在部分动作执行前，加了一次独立检查。 系统会先把业务规则转成代码和判断题。代码核对工具记录里的事实，另一个模型判断对话里的要求。发现问题，就把具体原因退回给智能体，让它重新处理。 它还会检查智能体是不是太早放弃了。比如准备转人工时，先看看应该尝试的排障步骤有没有做完。 在电信客服测试里，Opus 4.6 连续三次都成功的任务比例，从 39.5% 提升到 80.7%。但这个数字来自模拟用户环境，换一个模拟用户模型，电信测试的提升就没有出现，航空任务的结果也有好有坏。 论文里还有个很关键的限制。为了避免无限重试，修改机会用完以后，系统会让下一个方案直接执行，不再检查。所以不能拿它当成绝不会放过违规动作的审批系统。 我觉得这个方向仍然值得看。智能体做不好一件事，有时需要的是一次具体的提醒，比如哪一步还没做，哪条记录对不上。光把模型换成更贵的版本，未必能解决这些流程问题。 不过，成功率提高和可以放心授权，中间还差很远。尤其涉及取消订单、修改账户之类的操作，重试几次以后自动放行，显然需要另外设计真正的权限控制。

曝光 394 · 评论 4 · 点赞 2 · 书签 2