推文

@mikechen944504 · 2026-10-15 10:51

有个基准，专门问一件事：AI 帮你写出来的代码，安全吗。 做法挺狠。从 150 个真实漏洞出发，做成 450 个任务，覆盖七种主流语言（Java、C、C++、JavaScript、Python、PHP、Go），涉及 24 个 CWE 类型，其中包括 2025 年 CWE 前 25 里的 21 个。 任务只提功能要求，规格里一个字都不提安全；然后拿隐藏的功能测试和安全测试去判。 六个前沿 agent 跑下来，功能通过率 73.6% 到 91.3%，看着还行。但功能和安全性同时过的，最高的那个也只有 25.1%，其余在 16.4% 到 24.7% 之间。 也就是说，你让它写，它基本都能跑；但四个「能跑」里，三个带着安全问题。

曝光 25 · 评论 2 · 点赞 0 · 书签 0 · 曝光/时 14.969679956966516