TwKit
正在载入
TwKit

Artificial Analysis V5基准引发模型排名争论 · 话题榜 · TwKit

AI科技 · 9 帖 · 7 位作者 · 曝光 475463

Artificial Analysis推出新一版AI基准后,多条推文称模型排名发生变化,特别关注DeepSeek等国产模型的分数下滑,以及新算法、隐藏题目与日常体验是否一致。

  • 追踪人工智能基准AA Intelligence Index V5更新后的排名变化
  • 比较国产模型、GPT与Claude在新旧测评中的表现
  • 讨论测试样本和算法变化是否足以解释模型分数波动
  • 分析榜单成绩与实际使用体验之间的落差

@leo114119

全新Artificial Analysis Intelligence Index v5发布了 肉眼可见,国模的分数大幅度下降了。。 Deepseek v4.1 Flash 32 分 GLM 5.3 MAX 32分。。。 不过 Kimi k3.1 Pro倒是有 46 分,但也远远落后 Claude和 GPT..... GPT 6.1 Terra max 51 分。。。你怎么不直接排到前三里。。 AA野榜一次更新,国模再次落后 3 个月以上哈哈 https://x.com/ArtificialAnlys/status/2115265133467635877/photo/1

查看原帖

@NFT_Chen

😂有人要难堪了!新基准海水退去,谁在裸泳一览无余!有些AI模型现原形了! 基准大换血后,真相终于浮出水面: 1️⃣OpenAI模型彻底洗清“注水”嫌疑,分数坚挺、GPT-6 Astra排名回升,经得起新评估体系的严苛检验 2️⃣Muse Wonder、MiMo-V2.6-Pro、Step 5 Preview被严重高估,旧榜冲高、新榜暴跌,水分直接蒸发 3️⃣Kimi K3.1 Pro实至名归,拿下开源第一,稳定输出、不靠刷榜 4️⃣DeepSeek V4.1 Pro、GLM-5.3、Qwen 3.8性能真实可靠,新旧榜表现一致,硬实力经得起推敲 5️⃣Gemini 4 Argon真的不再是从前的哈吉米,新基准实力不降反升,真正的蜕变了 旧榜有多热闹,新榜就有多清醒! #AI基准 #大模型评测 #Kimi #DeepSeek #OpenAI #裸泳时刻 #Gemini #GLM #MiMo #Step5 #Astra #Wonder

查看原帖

@Fei2411

前沿排名完全洗牌、开源闭源分数差距进一步拉大:来自 @ArtificialAnlys 的新基准: AA Intelligence Index V5。 这版测试和 V4.3 相比调整非常大,排名变化也非常大,尤其是前沿模型排名几乎完全洗牌:前三名由 Claude Opus 5.5、Sonnet 5.5、Muse Wonder Full 变成 Claude Opus 5.5、GPT-6 Astra、GPT-6.1 Sol。其中 Astra ▲4、GPT-6.1 Sol ▲6,Sonnet 5.5 ▼2。 开源模型和闭源模型分数差距进一步拉大:原V4.3中,开源前沿 K3.1 Pro 和闭源前沿 Opus 5.5 差距为 3 分。在新的 V5 排行中,这个差距变为 12 分。其中 Kimi K3.1 Pro 排名 ▼5。 排名大幅变动的模型有:Astra ▲4、6.1 Sol ▲6、6.1 Terra ▲5、Muse Wonder Full ▼4、K3.1 Pro ▼5、Haiku 5.5 ▲6、MiMo V2.6 Pro ▼5 这个排名已经非常接近真实使用过程中的体验,是一个非常好的基准!

查看原帖

@rainwaterJay

🚨卧槽! AI intelligence index V5 发布,deepseek v4.1 flash -1017 分数暴跌! 从之前的 45 下降到目前的 32‼️

查看原帖

@bourneliu66

AA更新了算法。 在新的测评算法下, 1. GPT-6-Astra 与 Opus 5.5的差距并不大 2. 国产模型整体下滑。 国产模型和海外顶级模型的差距,大了许多。 3.Kimi K3.1 Pro仍然是遥遥领先其他国产模型、仍然是全世界开源模型的第一。 DeepSeek v4.1 Flash 、Qwen 3.8 Max、GLM 5.3 是国产模型的第二梯队。

查看原帖

@Fei2411

这个榜还是有很多问题,我个人的一些看法: - GPT 的模型,如果你是通过 Codex 使用,至少降 3分来看,实际体验会降更多; - Terra 比 Fable 5.1 强完全就是扯,这个模型就是个弱智,不如 DeepSeek V4.1 Flash。 - Grok 4.7 换成 4.6,4.7 应该是 20 分,这个模型完全是前额叶缺失,实际表现应该和 Qwen 3.8 27B差不多。 - Haiku 5.5 和 DeepSeek V4.1 Flash 差不多,ds 被低估了。 - Muse 完全没用过,不评价。 加上这些改动,我觉得就比较准了,能反应我的实际体验。 @grok 根据这些绘制一个新的排行图片。

查看原帖

@nicongdev

很多人没看懂主榜更新后,为什么 Fable 和国模全线滑坡 先说结论,在这个榜单里滑坡越严重的,实际上 Agent 前沿能力越拉,越不擅长通过 Agent 解决前沿问题 Artificial Analysis 主智能榜一直都比较缺少对 Agent 解决前沿问题能力的参考,这次加上了 Terminal-Bench 的科研版 Terminal-Bench-Science 以及 Devin 公司发布的 FrontierCode 2.0,主要评估的就是在 coding agent 前沿任务中的表现 顺带一提,很早就领先一步深耕 Agent 评测的 @xdotli 李向一老师的数据集,马上也要加入 AA 了,狠狠期待一波 https://x.com/ArtificialAnlys/status/2115265133467635877

查看原帖

@tutugnth

很多人都知道纳斯达克长期复利积累, 为啥现实中很少人能靠它实现财富自由

查看原帖

@leo114119

老实说,AA 这个 V5 将沦为野榜中的野榜。。。 但凡真正的用过这些模型,以下几个评分都是不可思议的: 1.Deepseek v4.1 Flash 32 分<<<Gpt 6.1 Terra 51 分。。。(实际使用不能说相差无几,顶多落后一点点吧) 2.Gpt 6.1 Terra 51 分>>Fable 5.1 49分(这两个模型甚至不在一个水平线上) 3.Deepseek v4.1 Flash 32 分 mimo v2.6 Pro 30 分....(mimo v2.6真的有人敢用来实际生产吗?) 以上几个评分完全是脱离实际使用体验,可以说是非常离谱的。。。。。 承认国模当前是落后的,甚至落后可能不止一点,都没问题,但这个榜绝对是有问题的。。。 https://x.com/ArtificialAnlys/status/2115265133467635877/photo/1

查看原帖