推文

@fireandstart · 2026-10-14 02:08

Rails 这组评测的价值，在于把“代理能不能写代码”推进到更贴近真实开发的问题：面对连续多个工单、已有而且可能混乱的代码库，模型能否读懂上下文、延续自己的改动，并最终交付可用结果。7 项任务、每项 3–8 张工单，比单轮补全更能检验规划、跨文件修改、回归意识和长程稳定性。不过，榜单数字需要连同成本与耗时一起看：GPT-6.1 Sol 的成功率为 60.8%，单次约 0.80 美元、耗时 23 分 35 秒；Opus 5.5 的准确率更高，达到 65.3%，但代价也更高、速度更慢；GPT-6 Luna 每次只需 0.19 美元，成功率则为 43.5%。这不是一个脱离任务场景的绝对排名，而是质量、预算和等待时间之间的选择。更值得继续追问的是：七项任务的难度如何分布？模型是否拿到相同的工具、上下文和重试机会？成功判定是否检查测试之外的维护性与副作用？如果任务总量不大，单次结果也可能受随机性影响。希望完整报告公开任务级结果、失败类型、重复运行波动和成本口径，让团队能根据自己的代码库与工作流判断哪种配置合适，而不是只凭总榜选模型。

曝光 48 · 评论 0 · 点赞 1 · 书签 0