Google Cloud AI Research 新 benchmark 的数字很反直觉：在"专业工程交付"这类真实工作任务上，最强的 agent 配置平均… · @baboonAI4S · TwKit

@baboonAI4S

Google Cloud AI Research 新 benchmark 的数字很反直觉：在"专业工程交付"这类真实工作任务上，最强的 agent 配置平均成功率只有 50.6%，而且每题要烧 2700 万 token、跑 63 分钟。 换成人类工程师的标准，五成成功率大概算不及格；但它已经是最强配置了。这说明 agent 现在能"做很多事"，但离"独立交付"还差得远。 另一面也有价值：2700 万 token / 63 分钟这个量级，等于告诉我们做 agent 产品的成本基线在哪——一次交付的毛利，可能比大家想的薄。 你团队现在的 agent 交付，卡在成功率上还是卡在成本上？ （来源：X 上 @dair_ai 关于 Google Cloud AI Research 的 PLE benchmark）

曝光 6 · 评论 1 · 点赞 0 · 书签 0