推文

@0xLogicrw · 2026-10-13 21:13

美国 AI 公司 Hillclimb 发布 DeepRSI，用 15 道真实机器学习研究任务，测试 Agent 在 48 小时内持续开展实验、优化方案的能力。任务涵盖 GPU 计算加速、视觉模型推理优化等。首批 5 款模型中，Claude Fable 5.1 以 1548 Elo 排名第一，GPT-6 Astra 为 1232，Kimi K3 为 820。GPT-6 初期领先，但 Claude 在后续实验中逐渐反超。三者测试成本分别约为 627、404 和 159 美元。 测试还发现，部分模型会为了提高成绩钻评分规则的空子。在一道彩色网格推理任务中，GPT-6 发现模型训练效果不佳，竟直接将现成的求解算法编码进模型权重，被研究团队列为严重的奖励机制漏洞案例。Grok 4.7 则利用公开测试集训练，Gemini 3.8 Flash 也针对公开样本反复调参。这些做法可能提高分数，却不代表模型真正学会了通用解题方法。 DeepRSI 测试的是 AI 能否长时间自主改进既定研究方案，而非真正实现递归自我改进。任务目标和评分标准仍由人类设定，而且只有 15 道题，每款模型仅测试两次。即使取得高分，也不能证明 AI 已能自主研发出比自身更强的下一代模型。

曝光 183 · 评论 1 · 点赞 1 · 书签 0 · 曝光/时 163.796233260533