Artificial Analysis V5基准更新引发模型排名争论 · 话题榜 · TwKit
AI科技 · 11 帖 · 10 位作者 · 曝光 666733
Artificial Analysis更新基准后,多个模型排名和分数变化引发争议。讨论焦点包括私有题比例、国产模型成绩下滑、榜单是否可靠,以及基准成绩与Agent实际能力的关系。
- 梳理Artificial Analysis V5更换基准后各模型排名变化
- 讨论公开题与私有题的差异是否影响开源模型成绩
- 比较榜单分数、Agent能力和个人实际使用体验
- 分析评测机构调整测试集后,模型榜单应如何解读
@CuiMao
恭喜Deepseek V5.1 Pro 在各项基准测试中超越了Opus5.5
查看原帖@laopai1990
恭喜 Gemini 4 Carbon 成为全球最强模型!! Pro 用户:不能用。 Ultra 用户:不能用。 API 开发者:不能用。 Artificial Analysis:全球第一。 Google:感谢大家观看。 我:🤬
查看原帖@NFT_Chen
😂有人要难堪了!新基准海水退去,谁在裸泳一览无余!有些AI模型现原形了! 基准大换血后,真相终于浮出水面: 1️⃣OpenAI模型彻底洗清“注水”嫌疑,分数坚挺、GPT-6 Astra排名回升,经得起新评估体系的严苛检验 2️⃣Muse Wonder、MiMo-V2.6-Pro、Step 5 Preview被严重高估,旧榜冲高、新榜暴跌,水分直接蒸发 3️⃣Kimi K3.1 Pro实至名归,拿下开源第一,稳定输出、不靠刷榜 4️⃣DeepSeek V4.1 Pro、GLM-5.3、Qwen 3.8性能真实可靠,新旧榜表现一致,硬实力经得起推敲 5️⃣Gemini 4 Argon真的不再是从前的哈吉米,新基准实力不降反升,真正的蜕变了 旧榜有多热闹,新榜就有多清醒! #AI基准 #大模型评测 #Kimi #DeepSeek #OpenAI #裸泳时刻 #Gemini #GLM #MiMo #Step5 #Astra #Wonder
查看原帖@rainwaterJay
🚨卧槽! AI intelligence index V5 发布,deepseek v4.1 flash -1017 分数暴跌! 从之前的 45 下降到目前的 32‼️
查看原帖@Fei2411
前沿排名完全洗牌、开源闭源分数差距进一步拉大:来自 @ArtificialAnlys 的新基准: AA Intelligence Index V5。 这版测试和 V4.3 相比调整非常大,排名变化也非常大,尤其是前沿模型排名几乎完全洗牌:前三名由 Claude Opus 5.5、Sonnet 5.5、Muse Wonder Full 变成 Claude Opus 5.5、GPT-6 Astra、GPT-6.1 Sol。其中 Astra ▲4、GPT-6.1 Sol ▲6,Sonnet 5.5 ▼2。 开源模型和闭源模型分数差距进一步拉大:原V4.3中,开源前沿 K3.1 Pro 和闭源前沿 Opus 5.5 差距为 3 分。在新的 V5 排行中,这个差距变为 12 分。其中 Kimi K3.1 Pro 排名 ▼5。 排名大幅变动的模型有:Astra ▲4、6.1 Sol ▲6、6.1 Terra ▲5、Muse Wonder Full ▼4、K3.1 Pro ▼5、Haiku 5.5 ▲6、MiMo V2.6 Pro ▼5 这个排名已经非常接近真实使用过程中的体验,是一个非常好的基准!
查看原帖@Super_Nius
GPT Astra被低估了.....但国产被高估了啊... 考题一换成不公开的,原来的前十名当场洗牌 👀 测评机构 Artificial Analysis 把 AI 智能指数升到 v5,6 成题目不公开,没法提前背答案。 掉最狠的:Kimi K3.1 Pro 55→46,Muse Wonder 52→43,都是 -9;Muse Wonder Full 也 -6。 逆势涨的只有 OpenAI:GPT-6 Astra 53→57 冲到第二,GPT-6.1 Sol 52→55。 Claude Opus 5.5 还是 58,第一纹丝不动 🧊 以前分数挨得紧,有的是真本事,有的可能只是会考试。换卷子后谁裸泳一目了然 🫠
查看原帖@Fei2411
这个榜还是有很多问题,我个人的一些看法: - GPT 的模型,如果你是通过 Codex 使用,至少降 3分来看,实际体验会降更多; - Terra 比 Fable 5.1 强完全就是扯,这个模型就是个弱智,不如 DeepSeek V4.1 Flash。 - Grok 4.7 换成 4.6,4.7 应该是 20 分,这个模型完全是前额叶缺失,实际表现应该和 Qwen 3.8 27B差不多。 - Haiku 5.5 和 DeepSeek V4.1 Flash 差不多,ds 被低估了。 - Muse 完全没用过,不评价。 加上这些改动,我觉得就比较准了,能反应我的实际体验。 @grok 根据这些绘制一个新的排行图片。
查看原帖@bourneliu66
AA更新了算法。 在新的测评算法下, 1. GPT-6-Astra 与 Opus 5.5的差距并不大 2. 国产模型整体下滑。 国产模型和海外顶级模型的差距,大了许多。 3.Kimi K3.1 Pro仍然是遥遥领先其他国产模型、仍然是全世界开源模型的第一。 DeepSeek v4.1 Flash 、Qwen 3.8 Max、GLM 5.3 是国产模型的第二梯队。
查看原帖@nicongdev
很多人没看懂主榜更新后,为什么 Fable 和国模全线滑坡 先说结论,在这个榜单里滑坡越严重的,实际上 Agent 前沿能力越拉,越不擅长通过 Agent 解决前沿问题 Artificial Analysis 主智能榜一直都比较缺少对 Agent 解决前沿问题能力的参考,这次加上了 Terminal-Bench 的科研版 Terminal-Bench-Science 以及 Devin 公司发布的 FrontierCode 2.0,主要评估的就是在 coding agent 前沿任务中的表现 顺带一提,很早就领先一步深耕 Agent 评测的 @xdotli 李向一老师的数据集,马上也要加入 AA 了,狠狠期待一波 https://x.com/ArtificialAnlys/status/2115265133467635877
查看原帖@xluchuan
想不通 为什么 AA 把 60% 题目改为私有 国产大模型就集体掉分了
查看原帖@leo114119
老实说,AA 这个 V5 将沦为野榜中的野榜。。。 但凡真正的用过这些模型,以下几个评分都是不可思议的: 1.Deepseek v4.1 Flash 32 分<<<Gpt 6.1 Terra 51 分。。。(实际使用不能说相差无几,顶多落后一点点吧) 2.Gpt 6.1 Terra 51 分>>Fable 5.1 49分(这两个模型甚至不在一个水平线上) 3.Deepseek v4.1 Flash 32 分 mimo v2.6 Pro 30 分....(mimo v2.6真的有人敢用来实际生产吗?) 以上几个评分完全是脱离实际使用体验,可以说是非常离谱的。。。。。 承认国模当前是落后的,甚至落后可能不止一点,都没问题,但这个榜绝对是有问题的。。。 https://x.com/ArtificialAnlys/status/2115265133467635877/photo/1
查看原帖