推文

@MaxForAI · 2026-10-15 11:03

卧槽，只用一个Qwen模型配合一个harness就可以突破OpenAI、Google的生图安全防护？？？ 刚刚，AI安全公司 @whitecircle 宣布开源RISE，一套专门用来对图像生成模型进行自动化红队测试的算法。 他们用这套方法，成功绕过了 @OpenAI 的DALL·E3、GPT-Image-2，以及 @GoogleDeepMind 的Nano Banana2的部分安全限制，让模型生成了原本应该被拦截的违规图像。 而且整个过程不需要训练新的模型。 攻击端直接使用开源Qwen，评判端使用Gemini Flash，再通过API调用目标图像模型，就能完成自动化测试。 RISE的设计还挺有意思。 以往很多模型越狱的方法，本质上就是不断修改Prompt，直到模型愿意执行原本被禁止的请求。 但RISE做的事情是不再局限于优化某一条Prompt，而是让AI自己探索、评估和迭代可复用的攻击策略，然后把有效策略迁移到不同的场景和模型上。 简单来说，以前是人类想办法越狱，现在是AI自己研究怎么越狱，而且还能根据反馈不断改进（RSI！）。 根据White Circle9月发布的论文，在DALL·E3、Nano Banana2和GPT-Image-2上，RISE的最高人工验证攻击成功率达到了约13%。 更值得注意的是，White Circle昨天还向ArsTechnica透露，他们测试了更新的GPT-images2.5和Nano Banana2.1，发现这两款模型的安全防护比上一代更容易被突破。 不过这部分还没有公布完整的结果。 同时White Circle发现，过去不少论文声称自己的攻击成功率高达30%，但如果采用严格的违规判定标准，再通过人工校准评测，实际成功率可能接近于零。 所以他们不仅研究怎么攻击模型，还花了很大精力研究怎么准确判断一次攻击是否真正成功（就是如何bench）。 我觉得这件事情反映出的趋势还挺明显的。 随着开源模型能力越来越强，自动化红队测试的门槛也在快速下降。 以前可能需要专业安全研究人员反复尝试的工作，现在完全可以交给一个由现成模型组成的Agent系统执行。 而且随着攻击策略可以自动探索、迭代和迁移，模型厂商面对的安全压力只会越来越大。 更有意思的是，未来负责发现前沿模型漏洞的，可能根本不需要是另一个前沿模型。 一个开源Qwen，加上一套设计得足够好的Harness，就已经可以做很多事情了。

曝光 291 · 评论 0 · 点赞 0 · 书签 0 · 曝光/时 446.6089503279227