AI 初创公司 Xplore 发布 RWE-Bench,测试大模型解决真实工程问题的能力。 11 款模型挑战 20 项机械、电气和航空航天任务,GPT-6 … · @divid_lu49394 · TwKit
@divid_lu49394
AI 初创公司 Xplore 发布 RWE-Bench,测试大模型解决真实工程问题的能力。 11 款模型挑战 20 项机械、电气和航空航天任务,GPT-6 Astra 以 37% 的单次平均通过率排名第一,Claude Opus 5.5 为 29%,GPT-6.1 Sol 为 25%。另有 5 款模型全部失败,包括 DeepSeek V4.1 Flash、GLM-5.3 和 Grok 4.7。 任务涵盖发动机曲轴设计、电路板布线和涡轮叶片散热仿真。设计曲轴要兼顾尺寸、重量、强度和疲劳寿命;给一块已经安装近 300 个元件的八层电路板布线,需要连接 71 条信号线,同时控制时序误差和阻抗;模拟涡轮叶片散热,还得正确计算高温气流与叶片之间的热量传递。 每款模型使用各自配套的 Agent 工具链,直接操作专业工程软件。每道题最多运行 24 小时,独立尝试 5 次。提交的设计由工程软件和物理求解器自动验证,任何一项硬性要求不达标都算失败。全部 1100 次测试中,有 4 道题始终无人攻克。不过,允许每题尝试 5 次后,Claude Opus 5.5 的任务通过率升至 70%,反超 Astra 的 60%。 Xplore 希望把这类工程任务进一步变成强化学习训练环境,让 AI 通过反复设计、仿真和纠错提高工程能力。
曝光 59 · 评论 1 · 点赞 2 · 书签 0
查看原帖