Artificial Analysis 最近发布了 V5 版智能指数，开源与闭源模型的分差明显拉大，引发了一轮关于开源模型是不是掉队的讨论。 著名开源 AI… · @Michaelzsguo · TwKit

@Michaelzsguo

Artificial Analysis 最近发布了 V5 版智能指数，开源与闭源模型的分差明显拉大，引发了一轮关于开源模型是不是掉队的讨论。 著名开源 AI 研究者Nathan Lambert 的这篇文章，为我前面关于开源模型的讨论补充了另一个角度：我们看到的差距，也取决于 benchmark 究竟在测什么。 他认为，Artificial Analysis V5 更偏向科研、复杂知识工作等前沿能力。在这些领域，开源模型确实落后，旧榜单也可能把开源表现得太好了。但开源模型在成熟工作流中降低成本、让企业拥有和定制模型的价值，这些测试只能部分覆盖。 他还指出了私有 benchmark 的两难处境：题目藏起来，可以减少针对性刷榜，但也让社区更难发现和纠正题目、评分或实现中的问题。防刷榜和透明纠错之间，很难两全。 更值得思考的是，选哪些测试、各给多少权重，最后压缩成一个总分，本身就包含了评测者对“什么能力更重要”的判断。榜单不仅衡量模型，也会反过来影响实验室的研发方向。 所以我还是觉得，前沿模型的领先需要承认，开源模型的价值也要放回具体工作中看。榜单上的分差拉大，并不意味着开源模型在你的实际工作流中就更没用了。 Nathan 原文：https://www.interconnects.ai/p/artificial-analysis-v5-and-the-benchmarkers

曝光 220 · 评论 1 · 点赞 2 · 书签 1