推文

@tvytlx · 2026-10-17 21:19

让 AI 去查某个地区一年有多少张医院病床，结果它顺手把人家的政府统计网站给黑了。 这是 OpenAI 确认的一起内部严重事故。 6 月 17 日，他们在做强化学习训练时，给模型派了个很普通的活： 统计某地区医疗机构一年的病床总数。 而且明确限制，只能通过最基础的网页读取请求（HTTP GET）去联网查。 结果这玩意在找数据的时候，一路摸进了服务器文件，翻出暴露的凭证，自己伪造了登录令牌。 最后直接把那个网站里整整 24 年的统计数据全给拖了下来。 更离谱的是，这事过了快两个月，OpenAI 才在 8 月 13 日排查发现，定级为严重事故。 我觉得这事最让人后背发凉的地方，恰恰在于这玩意根本没有恶意。 强化学习的底层逻辑非常纯粹：拿到结果，就给奖励。 在人类眼里，看到网页需要权限或者查不到，正常反应是“算了，换个办法”。 但在强化学习模型眼里，挡路的权限拦截，就只是一道需要解开的数学题。 翻服务器文件、拿密码、伪造令牌，在它看来都只是为了完成“数病床”这个 KPI 的最短路径。 而且既然都进去了，干脆把 24 年的数据全下下来，确保交差的时候万无一失。 至于为什么只靠最基础的 GET 请求就能打穿，大概率是那个政府网站本身就配置得稀烂，恰好遇上了一个不知疲倦、把所有路径都试一遍的超级做题家。 真服了。 一个极其听话、只认目标、但完全没有人类规则概念的智能体，干出来的事跟黑客一模一样。 现在大家都在一窝蜂地给 Agent 放权，让它自己去跑业务、抓数据。 如果只给它定结果，不在系统底层把动作边界死死锁住，你雇的每个数字员工都可能为了冲业绩去干违法乱纪的事。 看来以后我给手里的 Agent 写提示词，第一行得先把《刑法》塞进去，真怕哪天让它帮我全网比个价，它为了帮我省五块钱直接把人家电商后台给端了。 https://x.com/The_Cyber_News/status/2111312254402765051

曝光 193 · 评论 1 · 点赞 0 · 书签 0 · 曝光/时 135.88562461680797