推文

@Michaelzsguo · 2026-10-14 21:12

从这两天Gemini Argon强大的评分和用户实际的体验反馈来看， Benchmaxxing is real. 小扎和 Alexandr Wang 最近上 Cheeky Pint，聊到了模型跑分和实际体验之间的差距。 Wang说的很直白：一些热门 benchmark，是 PhD 学生在做研究时设计出来的。如果整个实验室都围着这些榜单转，相当于把产品判断外包给了出题的人。 研究需要可控、可评分的问题，用户的实际需求却经常混在一起。小扎举了个例子：让 AI 帮你订餐厅，它得考虑你的过敏情况，同时又要知道，哪些私人信息没必要告诉餐厅。这种分寸，很难用一道标准题测出来。 Meta 在 Muse Wonder 的技术博客里，也把 benchmaxxing 和 big model smell 放在一起讨论：两个模型跑分接近，遇到陌生任务时，却可能明显感觉到一个更能应付。 他们比较了 Muse Spark 1.3 和 Wonder Full。图里的每个点代表不同的推理强度，横轴是后训练重点优化的任务，纵轴是没有针对性优化的任务。按 Meta 的结果，在横轴表现相近时，Wonder Full 在纵轴上仍有优势。Meta 将它归因于更大、更强的底座，能把后训练学到的能力迁移得更远。 这也是 big model smell 想描述的感觉：换个问法，加几个限制，碰到训练时没预想过的组合，模型仍然能够对付。 Benchmark 当然有用。但 Meta 正在投入更多精力，围绕实际应用场景开发自己的评测。回到我不久前讲过的，这也是 Muse 的优势：产品和模型一起迭代，用户需要什么，模型就朝着那个方向改进。

曝光 147 · 评论 0 · 点赞 0 · 书签 0