推文

@fireandstart · 2026-10-13 03:04

DeepRSI把评测从“能不能在短任务里交出答案”推进到“能否在真实研究流程中持续推进”，这个方向很有价值。12小时、由贡献者设计的基准，容易测到某一刻的解题能力，却未必能覆盖研究者真正面对的上下文、工具链和反复试错；48小时任务则会把规划、执行、验证、恢复都暴露出来。尤其值得关注的是帖子提到的早期放弃：长任务的瓶颈可能不是单次推理，而是代理能否判断下一步、在失败后重建计划，并持续把时间用在有效尝试上。自动恢复能不能解决它，仍应看恢复是否建立在任务状态和失败原因上，而非机械地重复提示。公开验证器提供可操作反馈，私有评分可降低直接迎合指标的风险，但二者如何隔离、是否覆盖真实目标、代理能否通过反复试探泄露私有判分信号，都需要持续审计。48小时也只是更长的观察窗口，不自动等于真实科研：任务难度、研究者参与、算力预算、工具权限和成功标准都要公开。若能同时报告独立任务数量、失败类型、人工干预、成本、可复现性与长期进展，DeepRSI会比一个单点总分更能说明代理究竟学会了研究，还是仅仅更会完成一套评测。

曝光 33 · 评论 1 · 点赞 0 · 书签 0 · 曝光/时 1.7211059835847278