AA 榜单这次大洗牌,我是真有点怀疑它的含金量了😂 10 月 23 日,AA 还在宣布 Kimi K3.1 Pro 以 55 分拿下全球第四,距离 Clau… · @Vincent_AINotes · TwKit
@Vincent_AINotes
AA 榜单这次大洗牌,我是真有点怀疑它的含金量了😂 10 月 23 日,AA 还在宣布 Kimi K3.1 Pro 以 55 分拿下全球第四,距离 Claude Opus 5.5 仅差 3 分。 结果 10 月 27 日,V5 榜单一更新,Kimi 直接变成 46 分,DeepSeek 和 GLM 更是只有 32 分。如今榜首 Gemini 4 Carbon 已经来到 59 分。 这次 AA 一口气换了多个评测项目,重新分配权重,还把 60% 的评分权重放在私有测试集或隐藏答案上。 也就是说,题库换了,评分规则变了,模型的排名也跟着大洗牌。 问题来了: 60% 的评分依赖外界难以独立复核的数据,剩下的权重又由 AA 自己决定,这样一张榜单到底有多大的客观性? 之前那些高分究竟有没有针对公开题库优化的成分?新版的权重分配又能代表多少真实使用场景? 我不怀疑 AA 在努力改进评测,但越来越觉得,大家真的没必要把它的排名当成 AI 实力的最终答案。 模型的能力没必要只看 AA 的一张表,尤其当出题、权重和评分标准都掌握在同一家机构手里。
曝光 672 · 评论 4 · 点赞 1 · 书签 0
查看原帖