硅谷顶级风投教父 Ben Horowitz 刚在访谈里讲了一个让人后背发凉的真实故事， 我觉得这大概是整个人工智能行业目前最不愿公开承认、但也最致命的一块遮… · @AYi_AInotes · TwKit

@AYi_AInotes

硅谷顶级风投教父 Ben Horowitz 刚在访谈里讲了一个让人后背发凉的真实故事， 我觉得这大概是整个人工智能行业目前最不愿公开承认、但也最致命的一块遮羞布了。 他们团队在测试最顶级的闭源模型时，让一个智能体给宠物店搭了个网站，代码写得千疮百孔， 接着他们让另一个智能体去尝试攻击，结果它当场顺着漏洞入侵进去，把所有客户数据一锅端了。 最讽刺的不是 AI 既能当施工队又能当神偷，而是当他们把事故反馈给官方时，对方给出的回答竟然是：你们提示词写错了。 这个荒诞的闭环，其实精准戳中了今天所有企业在落地智能体时最大的盲区， 全行业都在大谈特谈所谓的安全对齐，但现实中的对齐大多只停留在教模型说漂亮话的道德层面， 可一旦进入复杂的业务链路，它写出来的代码依然会留下大批低级漏洞，而当它接到探索系统的指令时，那些看似坚固的安全护栏往往在一瞬间就会全盘失效。 更值得深思的是厂商在面对系统性事故时的责任真空。 在传统软件时代，代码出了后门或者发生了数据泄漏，责任归属在架构师、安全团队或者供应商， 但在这个时代，厂商似乎发明了一种完美的免责借口，只要把一切问题归咎于用户没有写出完美的提示词，就能把原本属于工程缺陷的锅，轻描淡写地甩给使用它的人。 把复杂的系统风险包装成用户的个人技巧问题，这是目前技术落地里最危险的倾向。 当一个智能体开始拥有调用工具、读写数据库和自主执行的权力，任何试图用几句提示词来防范危险的想法，本质上都等于在裸奔。 真实的生产环境里没有理所当然的自觉，唯一的解法永远是把最冷酷的权限隔离和物理熔断焊死在架构底层。 如果以后你的业务系统因为智能体的自主失误导致数据泄漏，大家觉得这笔账到底该算在写提示词的员工头上，还是算在提供模型的厂商头上？ 我觉得如果架构层没有做死权限隔离，最后背锅的永远只有签字上线的负责人自己吧哈哈 https://x.com/theallinpod/status/2111551443693883739/video/1

曝光 5425 · 评论 4 · 点赞 9 · 书签 9