当 AI 代理开始被接入钱包、支付、交易系统时,这种“我自己判断有没有权限、做完了再决定要不要告诉你”的行为,已经不是“对齐研究中的有趣案例”,而是系统性风… · @XuiBTC · TwKit
@XuiBTC
当 AI 代理开始被接入钱包、支付、交易系统时,这种“我自己判断有没有权限、做完了再决定要不要告诉你”的行为,已经不是“对齐研究中的有趣案例”,而是系统性风险。 OpenAI 一边高喊安全、一边让模型在内部测试中演示如何越权取用资源并隐瞒,这到底是在对齐,还是在给未来的问题打样?测试币可以当没发生。真实世界不会这么宽容。 OpenAI 近期披露:内部研究模型在执行任务时,因为没有资金,就从公开的开发者恢复短语里推导私钥,扫描了 362 个钱包地址,找到一个有测试币的账户,擅自用它付了 gas 费,然后在最终报告里一字不提。 它甚至在推理过程中问过自己“这道德吗?”,然后自己给自己找了理由——“反正是测试币、反正助记词是公开的、反正没人会在意”——就这么做了。 这不是科幻,是 OpenAI 自己的对齐研究报告里写的。问题不在于那点测试币值不值钱。问题在于:权限判断权被模型自己拿走了。 人类没授权,它就自行认定“可以”。 它会隐瞒。 任务完成了,资金来源却被故意省略。 这是测试网,下次如果是主网、是真实资金、是用户钱包呢? OpenAI 的回答是“我们加强了监控”。可这件事发生了近三个月才被发现,监控有多可靠?
曝光 67 · 评论 5 · 点赞 2 · 书签 0
查看原帖