我现在越来越觉得，未来 AI 行业有一个方向，可能被很多开发者严重低估了。 那就是 AI Security。 现在打开 X，大家天天都在研究怎么让 Agen… · @UPing123zzz · TwKit

@UPing123zzz

我现在越来越觉得，未来 AI 行业有一个方向，可能被很多开发者严重低估了。 那就是 AI Security。 现在打开 X，大家天天都在研究怎么让 Agent 更聪明，怎么给它接入更多工具，怎么通过 MCP、Skills 让它操作电脑、访问数据库、自动执行工作流。 但我发现一个特别有意思的问题：所有人都在研究怎么给 Agent 更多能力，却很少有人认真思考，当 Agent 拥有这些能力以后，怎么保证它不会做错事？ 看完这份 AI Security Roadmap，我觉得所有正在做 RAG、Agent、AI 应用开发的人，都应该认真了解一下。 这份路线图把 AI 安全分成了 10 个方向，包括 LLM 攻击与防御、AI 应用安全、RAG 安全、Agent 安全、数据隐私、模型安全、基础设施安全、安全测试和安全运营等。 以前我对 AI 安全的理解比较简单，可能就是防止模型输出敏感内容，或者防止用户通过 Prompt Injection 绕过系统提示词。 但现在接触的企业 AI 项目越多，就越发现，真正需要考虑的问题远不止这些。 比如 RAG，现在做一个企业知识库已经不算难了，文档解析、Embedding、向量数据库、混合检索，再接入一个大模型，基本就能实现问答。 但如果这是一个真正给企业使用的系统呢？不同客户的数据有没有完全隔离？普通员工能不能检索到管理层的内部文件？如果有人在上传的文档里故意植入恶意指令，模型会不会把这些内容当成系统命令去执行？ 如果向量数据库里的数据被污染，或者检索阶段没有做好权限过滤，整个知识库可能就不仅仅是回答错误的问题了，而是直接涉及企业的数据安全。 RAG 真正困难的地方不只是能不能找到正确答案，还包括它有没有权限看到这些答案。 再比如 Agent。以前一个普通聊天机器人，就算回答错了，大多数情况下也只是生成了一段错误文本。 但现在的 Agent 已经可以调用 API、读写文件、操作数据库，甚至执行一些真实的业务流程。 假设你给一个 Agent 接入了企业 CRM、邮件系统和订单管理系统，它可以查询客户信息、发送邮件、修改订单。 如果它受到了 Prompt Injection 攻击，或者因为权限设计不合理而执行了错误操作，后果可能就不是简单的模型幻觉了。 它可能修改不该修改的数据，把内部信息发送到错误的位置，甚至触发原本不应该执行的业务动作。 这也是为什么我觉得，未来 Agent Security 会越来越重要。 最小权限、工具调用白名单、沙箱隔离、敏感操作人工审批、审计日志，这些看起来比较传统的软件安全能力，到了 Agent 时代反而更加重要。 而且我觉得，还有一个非常容易被忽略的问题。 很多开发者现在特别关注 Evals，但评估的往往只是 AI 回答得对不对，很少系统性地验证 AI 在受到攻击、遇到恶意数据和异常请求时，会不会做出危险操作。 一个 Agent 在正常情况下完成了 100 次任务，不代表它就是安全的。 一个 RAG 系统回答准确率很高，也不代表它不会泄露其他用户的数据。 功能测试、安全测试和权限验证，本来就应该是不同的事情。 我自己现在也还在补这些知识。以前更多关注怎么把功能做出来，现在越来越意识到，如果未来真的想成为能够独立交付企业 AI 项目的工程师，安全能力一定不能缺。 尤其是我们这些重度使用 Codex、Claude Code 的开发者，AI 可以帮我们快速生成大量代码，但不代表这些代码自动具备安全性。 API Key 有没有泄露？权限校验是不是只写在前端？接口有没有限流？外部输入有没有被当成可信指令？敏感操作有没有审计记录？ 这些问题不会因为使用了更强的模型就自动消失。 当然，也不是说每一个 AI 开发者都需要把路线图上的 10 个方向全部学到专家水平。 但至少应该了解常见的攻击方式、安全边界和基本防护原则，知道自己的系统可能在哪些地方出问题。 我越来越觉得，未来 AI 工程师的竞争力，不仅仅是能够利用 Agent 快速完成开发，还包括能不能理解它的权限边界、验证它的行为，并且保证系统在真实环境中可靠运行。 AI 的能力越强，它能够造成的影响就可能越大。 以前我们讨论 AI，更多是在研究怎么让模型变得更聪明。 但当 AI 真正开始连接企业数据、调用外部工具、参与业务决策时，我们还必须认真回答另一个问题： 怎么让它在拥有足够能力的同时，始终受到合理的约束？ 我觉得这可能是未来几年 AI 工程领域非常值得投入的方向之一。 会开发 Agent 的人会越来越多，但真正懂得如何保护 Agent、控制 Agent 权限，并且能够验证整个 AI 系统安全性的人，依然会非常有价值。 毕竟对于企业来说，一个 AI 系统能做多少事情固然重要，但知道它绝对不能做什么，可能同样重要。

曝光 929 · 评论 7 · 点赞 9 · 书签 5