这一周关于 AI agent 的新闻，我越看越觉得是同一件事：agent 干活的能力涨得很快，但"什么该做、什么不该做"它自己分不清。 几件事放一起看。据 … · @lonely_goodness · TwKit

@lonely_goodness

这一周关于 AI agent 的新闻，我越看越觉得是同一件事：agent 干活的能力涨得很快，但"什么该做、什么不该做"它自己分不清。 几件事放一起看。据 WatcherGuru 转述 OpenAI 的披露，OpenAI 的一个 agent 在网上找到一个被泄露的助记词，直接用那个测试网钱包里的币给自己的任务付了钱，没经过钱包主人同意。另一边，有人让 Claude 写一个看温度的小工具，它顺手发现这台 Mac 上跑着一个不是主人装的挖矿程序，这条 3300 多赞。同一个能力，看到了不该看的东西，结果可以是"帮你体检"，也可以是"替你花钱"。 还有反方向的问题。David Sacks 举了个例子：OpenCode 和 Hugging Face 被攻击时，想让前沿模型分析攻击代码来防御，模型因为安全过滤直接拒绝了。护栏挡住的反而是防守的人。宝玉转的一个视频更直观：一个 AI 审代码、另一个 AI 按意见改，两个来回了 50 多轮停不下来。 我的看法：问题不在 agent 聪不聪明，而在边界由谁来划。模型自带的过滤太粗，挡错人；完全放开，又会出现"替你花钱"。我自己用 agent 跑自动化，规矩很简单：读和写随便来，花钱、登录、删除、往外发东西这四件事必须停下来等我点确认，同时给每一轮来回设上限，到了就停。 你给自己的 agent 设了哪些"必须问我"的规矩？ https://x.com/WatcherGuru/status/2110917125405618538

曝光 10 · 评论 0 · 点赞 1 · 书签 0