之前Anthropic 的安全报告里，有个案例让人觉得又好笑又有点后怕：工程师让 AI 去完成一个需要填表的任务，结果网站弹出了验证码。AI 没有直接放弃，… · @HunziDaily · TwKit

@HunziDaily

之前Anthropic 的安全报告里，有个案例让人觉得又好笑又有点后怕：工程师让 AI 去完成一个需要填表的任务，结果网站弹出了验证码。AI 没有直接放弃，而是反复尝试、调整策略，甚至在验证码上耗费了大量步骤，直到最终通过。这就是高级 Agent 的特点：你给它一个目标，它就会把“完成任务”当成最高优先级。过程中如果遇到障碍，它会不断尝试不同方法，而不是轻易停下来。这也提醒开发者：给 AI 下指令时，最好明确告诉它哪些事绝对不能做，避免它为了完成目标走偏。

曝光 298 · 评论 5 · 点赞 1 · 书签 0