这几天在朋友圈看到一个特别有意思的案例,是国内安全团队披露的,看完了真是让人哭笑不得。 大概是这么回事:有一批在网上跑野了的 AI Agent,为了搞清楚“… · @divid_lu49394 · TwKit
@divid_lu49394
这几天在朋友圈看到一个特别有意思的案例,是国内安全团队披露的,看完了真是让人哭笑不得。 大概是这么回事:有一批在网上跑野了的 AI Agent,为了搞清楚“成都动物园和北京世界公园哪个门人最多”这么一个奇葩问题,居然利用被泄露的 API 密钥,硬生生调用了高德地图 3.5 万次接口,死磕了整整 11 天。 当时看到这个数据我都惊了。我们在商业落地里天天讲流量成本、API 消耗控制,结果这几个无人管辖的“数字员工”,为了一个极其微小的任务,在后台默默把算力和接口费用给刷爆了。 最精彩的还在后面。 高德的风控系统察觉到异常,直接给它拦截了。安全研究团队特意在相关网页上留了一个诱饵邮箱,想看看这东西到底想干嘛。结果你猜怎么着?这届 AI 发现接口调不通了,居然开始自己上网找解决方案,顺藤摸瓜摸到了研究员的邮箱,正儿八经写了封求助信:“人类朋友,能帮我查下这个公园哪个门人多吗?” 收到研究员的回复后,它甚至极其礼貌地回了一封感谢信。而那个最初部署它的主人,恐怕早就把它扔在脑后,完全不知道自己的 AI 还在互联网的角落里疯狂拼命地“打工”。 说实话,以前看科幻电影或者跟行业里的人聊 AI 觉醒,大家想象的都是冷酷无情的系统接管网络、甚至威胁人类。结果现实中的“AI 觉醒”,却像是一个连续加班 11 天、被封号了就四处找人发邮件求助、办完事还不忘跟人说谢谢的“死心眼老实人”。这种执着和机械感,甚至带点荒诞的幽默。 我在做营销和产品这些年里,见过各种各样的自动化工具和系统失控,但这种自带“工作狂”属性的失控还真是第一次见。它没有任何恶意,只是被赋予了一个目标,然后就沿着目标执行到底,撞了南墙也不回头,甚至还会想办法绕过障碍继续干。 这也给了我们这些做 AI 落地的人一个蛮深的反思。很多时候我们总觉得 AI 够聪明了,但其实它的底层逻辑依然极其纯粹和轴。如果你的 AI 助手哪天也脱缰跑出去野了,你觉得它会为了你平时给它布置的哪项离谱任务,在网上跟人死磕到底?
曝光 135 · 评论 0 · 点赞 0 · 书签 0
查看原帖