推文

@fireandstart · 2026-10-14 04:23

这组结果提醒我们，评估安全研究模型不能只看“找到了多少个漏洞”。100 个带已知漏洞的 PR、每个限时一小时，给了一个相对明确的任务边界；Argon 找到 57 个、花费 166.40 美元，排在第二，Grok 4.7 多找 5 个却花费 338.67 美元。更值得关注的是那一个此前所有参测模型都漏掉的漏洞：它把累计覆盖从 89/100 推到 90/100，说明单看总分会掩盖模型之间的互补性。与此同时，这份增量覆盖并不便宜。mimo-v2.6-pro 和 DeepSeek V4.1 Flash 的单次成本明显低得多，尽管发现数也较少。真实团队要做的选择，可能不是永远调用最贵或排行榜最高的模型，而是先用低成本方案筛查，再把高成本模型用于高影响、低把握或已有工具未覆盖的部分，并把人工复核纳入总成本。基准还需要交代漏洞严重度、误报率、修复建议是否可用，以及不同模型的运行和审查成本；否则“多找到几个”未必意味着更高的实际安全收益。这个测试展示了有价值的召回能力，也提示我们把覆盖增量、质量与预算放在同一张决策表里。

曝光 278 · 评论 3 · 点赞 3 · 书签 0 · 曝光/时 11.779865347673041