推文

@Ryrenz · 2026-10-14 19:09

🍽️ AI 圈最清奇的基准测试出现了，DishwasherBench 让大模型去装洗碗机，洗不干净就不给分。 仓库 10 月 12 日才建，由 Composo 做的，MIT 许可。游戏本体叫 Spotless，人能在浏览器里玩，模型通过 MCP 接进来玩同一局。 DishwasherBench 没有把这事做成一道抽象的打分题，而是照着一台真实的博世洗碗机做了刚体物理模拟，喷淋、水流、油污都按物理跑。杯子口朝下还是口朝上，盘子有没有互相挡住，直接决定洗完的得分。七个关卡按难度排好，模型得自己琢磨怎么塞。 作者也把底子摊得很白：目前的模拟只拿一次真实洗碗校准过，48 项文献记录的装载现象里 17 项通过、21 项在幅度或方向上没对上；杯子、玻璃杯和锅具有没有口朝下放，现在算得准，盘子和餐具叠起来还能不能洗干净，暂时不敢说。版本号就 0.1.0，项目也写明和博世、Finish 这些厂商没有任何关联，任何结果都不构成对真实产品的评价。 能把东西摆对，才是 agent 真正难的那一关。 GitHub：https://github.com/composo-ai/DishwasherBench

曝光 29 · 评论 0 · 点赞 0 · 书签 0