你让 AI agent 帮你查资料、订个东西，它打开的每一个网页，都可能顺手塞给它一条指令。 它该听谁的？ OpenAI 刚把 Model Spec 重写了… · @tvytlx · TwKit

@tvytlx

你让 AI agent 帮你查资料、订个东西，它打开的每一个网页，都可能顺手塞给它一条指令。 它该听谁的？ OpenAI 刚把 Model Spec 重写了一遍，围绕五条核心价值，提到的关键词有：判断力、人的自主权、忠于用户的真实意图。 我觉得这次更新看下来，重点就一件事：排序。 以前的聊天机器人一问一答，安全问题主要是别说错话，输出过滤一下就行。 现在的 agent 会浏览网页、翻文件、调工具，一跑就是很多步。 你的要求、网页里藏的提示、平台的规则，随时会撞在一起。 这事有个名字，叫提示注入。 这时候最缺的是一张优先级表。 谁说了算，提前写清楚。 OpenAI 这次把这张表直接写进了模型的底层指令里，在 agent 跑偏之前就先把规矩定好。 同一天还发了一篇技术文章，讲怎么分层监控 agent 的越权行为。 一个负责定规矩，一个负责盯着有没有跑偏。 这玩意对普通人看着有点虚，对企业倒是挺实在的。 agent 出了事，终于有份白纸黑字的东西可以对照：是它没按规则来，还是规则本来就这么定的，新版本上线后行为有没有变。 说白了，有点像给新员工发员工手册。 手册写得再好，也得看他上岗以后怎么干。 反正我现在给 agent 开权限，还是只敢让它看，不太敢让它点。 等它哪天确定不听网页的话了，再把信用卡交给它。 https://x.com/murtuza_merc/status/2115894361279942731

曝光 165 · 评论 1 · 点赞 0 · 书签 0