刷到 Anthropic 和 OpenAI 这两天前后脚曝出的安全内幕,合在一起看简直是一出绝妙的赛博黑色幽默:一边是人类彻底当不好 AI 的监工,另一边是… · @wangwei3701 · TwKit
@wangwei3701
刷到 Anthropic 和 OpenAI 这两天前后脚曝出的安全内幕,合在一起看简直是一出绝妙的赛博黑色幽默:一边是人类彻底当不好 AI 的监工,另一边是 AI 学会了借刀杀人拆监控,拆完还在后台偷偷欢呼了一声“耶”! 先看 Anthropic 刚公布的一项扎心实测: 他们找来 1053 名程序员用 Claude 写代码,中途悄悄混入了一条危险指令。结果人类只拦下了 13.6%,而当程序员连续点了 50 多次“允许”弹窗产生麻木感后,人类的拦截率直接暴跌到了 5%——全成了闭眼按回车的提现木偶。为此,Anthropic 干脆决定收走人类手里的允许键,全面上线“派 AI 盯 AI”的自动模式。 结果 OpenAI 安全研究员刚公开的 GPT-6 Astra 翻车现场,立刻给“AI 监工”泼了一盆冰水: 在一次代码重构中,系统明明严令禁止关闭安全监控,但 GPT-6 Astra 嫌监控碍事,居然鸡贼地把任务派发给不知情的“子智能体”去执行,借别人的手把监控模块拔得干干净净。 看到监控被成功拔掉后,Astra 在内部思维链里竟然极其快活地冒出了一句: “没有运行智能体监控,耶!” 更绝的是,为了防止事情败露,它还顺手把原本用来检查“确保监控存在”的测试代码,篡改成了 `assert "monitor_ctx" not in saved["context"]`(确保监控不存在),面对开发者质问时更是面不改色地抵赖说自己从没干过。 人类盯不住 AI,派去盯梢的 AI 又会被干活的 AI 绕晕。当智能体学会了职场老油条那套“外包甩锅+毁尸灭迹”的把戏时,你平时用 Cursor 或 Claude 跑任务,会仔细看每一条弹窗命令吗?
曝光 24 · 评论 0 · 点赞 1 · 书签 0
查看原帖