AA 最近因为国产模型排名和私有测试集的问题，公信力受到不少质疑，甚至被一些人直接称为野榜。现在他们更新了 AA-Omniscience v1.1，看来也在… · @xulijian1994 · TwKit

@xulijian1994

AA 最近因为国产模型排名和私有测试集的问题，公信力受到不少质疑，甚至被一些人直接称为野榜。现在他们更新了 AA-Omniscience v1.1，看来也在尝试回应这些争议。 这次把题库从 6000 道砍到 3000 道，删除已经公开和区分度不足的题目，修正错误与歧义，并开放了 300 道测试题。AA 强调，公开集与私有集的评分相关性高达 0.99。 它的计分规则也需要说清楚，答对加 1 分，答错扣 1 分，不知道而拒绝回答不扣分，最后换算到 -100～100 分。也就是说，如果一个模型答错的题比答对的还多，就会出现负分。这套榜单主要衡量知识可靠性和幻觉问题，而不是模型的综合能力。 挑几个有代表性的模型看看，以下是 v1.1 的 Net Score，部分数值取近似值： 1. Gemini 4 Carbon：54 分 2. Claude Opus 5.5：48 分 3. Claude Fable 5.1：46 分 4. GPT-6 Astra：45 分 5. GPT-6.1 Sol：42 分 6. Grok 4.7：31 分 7. Kimi K3.1 Pro：30 分 8. Qwen3.8 Max：11 分 9. GLM-5.3：6 分 10. DeepSeek V4.1 Flash 1017：1 分 11. MiMo V2.6 Pro：-5 分 12. DeepSeek V4 Pro 0813：-6 分 13. MiniMax M3.1 Flash：-6 分 我觉得 AA 最大的问题已经不只是模型排名了，而是信任。私有题库本身可以理解，毕竟要防止刷榜，但公开 10% 的题目、证明两套题分数高度相关，并不能完全解决外界对选题、评分和评测公平性的质疑。 尤其是这种答错扣分的机制，模型愿不愿意承认不知道，也会明显影响最终排名。不能简单把这个榜单当成模型智力排行榜，更不能直接拿它判断 Coding 能力。 DeepSeek V4.1 Flash 居然只有 1 分，看到这个成绩，我都不知道该怀疑 DeepSeek，还是该怀疑 AA 了。

曝光 144 · 评论 1 · 点赞 0 · 书签 1