模型评测题库调整后国产模型分数变化 · 话题榜 · TwKit
AI科技 · 3 帖 · 3 位作者 · 曝光 158363
推文质疑评测机构调整题库或将部分测试设为私有后，国产模型分数下降，争议集中在基准测试是否稳定、公平以及分数能否反映实际能力。
- 追踪DeepSeek、Kimi等模型在评测榜单上的分数变化。
- 讨论测试题转为私有后，模型排名变化能否代表真实能力差距。
- 比较评测平台规则变动与开源模型表现之间的关系。
@JamesDa55049936
裁判亲自下场改规则，这集我真看笑了。 中国开源大模型刚组团冲进第一梯队，AA 连夜“优化”测试集： • Kimi：55 ➔ 46 • DeepSeek：45 ➔ 32 • GLM：45 ➔ 32 • 小米 MiMo：46 ➔ 30 国产全军覆没大跳水，反观 Claude Opus 5.5，愣是一分不掉稳坐钓鱼台。 最绝的是什么？ Anthropic 前脚刚递交 IPO 招股书，后脚榜单就准时“精准爆破”。 达里奥这是直接空降出题组当组长了吧？ 这世界上的巧合，果然都是明码标价的 🤡
查看原帖@xluchuan
想不通 为什么 AA 把 60% 题目改为私有 国产大模型就集体掉分了
查看原帖@YxzRainy
达里奥这次也是直接当上 AA 的出题组组长了🤓☝️ Kimi 开源模型刚冲进第一梯队，AA 连夜换了套卷子... Kimi：55 → 46 DeepSeek：45 → 32 GLM：45 → 32 小米 MiMo：46 → 30 中国开源模型集体掉大分，Claude Opus 5.5 愣是一分没掉... 最巧的是，Anthropic 前一天刚提交 IPO 招股书……🤣 这时间点是不是有点太巧了？🤡
查看原帖