推文

@fireandstart · 2026-10-15 04:14

这项基准最有价值的地方，是把代码审查从“哪个模型更聪明”的印象题，拆成可比较的工程取舍：13 个模型、38 种配置，在 125 个 PR 和 703 个已知缺陷上观察漏报、误报、成本与耗时。对团队来说，单看命中率不够；漏掉安全或正确性问题的代价，和把大量无关发现推给开发者的代价并不相同。成本与等待时间也决定审查能否进入每个 PR 的日常流程。 我期待看到结果按缺陷类型、语言和 PR 规模切开，并说明基准是否包含真实仓库中的上下文噪声、重复评论、工具调用限制与模型版本变化。38 种配置意味着提示、模型或参数改变都可能影响排名，因此复现细节和统计区间同样重要。若能报告精确率/召回率、单位成本发现的有效问题数，以及审查者接受或驳回建议的比例，就更容易判断它适合安全门禁、一般代码审查，还是只作第二意见。模型选择最终应服务于具体风险和工作流；这类带已知缺陷的 PR 基准，是把讨论从榜单拉回实际决策的一步。

曝光 14 · 评论 0 · 点赞 0 · 书签 0