大模型评测基准迎来大换血，AA v5 现在有 60% 的指数基于私有测试集或未公开答案的评估。 Kimi K3.1 Pro 和 Opus 5.5 的分差直接… · @LanzhiAI · TwKit

@LanzhiAI

大模型评测基准迎来大换血，AA v5 现在有 60% 的指数基于私有测试集或未公开答案的评估。 Kimi K3.1 Pro 和 Opus 5.5 的分差直接从 3 分拉大到 12 分，天天调模型的人真正要盯的是两项新指标。 私有测试集让榜单重新洗牌 · 这一次 AA v5 是 1 月 v4 发布以来最大的一次升级，加入了 2 项新基准并做了 3 项升级。 · 评测里 60% 的内容依赖私有测试集或隐藏答案，前沿模型的排名出现大幅变动。 · Kimi K3.1 Pro 与 Claude Opus 5.5 的分差从之前的 3 分拉大到了 12 分，前排闭源模型的位次明显上升。 真实工程基准看重能不能合代码 · 新加入的 FrontierCode 2.0 来自 Cognition，是一套基于真实工程任务的私有基准。 · 它的打分机制很直接：看开源仓库的 Maintainer 愿不愿意把 Agent 写的 PR 真正合并进代码库。 · 在这项偏向真实工程落地的测试里，DeepSeek V4.1 Flash 跑出了 28.5% 的成绩，超过了多款闭源中端模型。 · 这说明看代码能力不能只看理论跑分，能不能过真实工程代码审查才是硬指标。 命令行终端任务考验长流程执行 · 另一个关键更新是 Terminal-Bench-Science，直接把模型放进终端运行 70 个 Agent 科研任务。 · 任务全在真实黑框终端里跑完，要求模型能够理解环境反馈并持续做长流程推理。 · 以前只在前端对话里测问答的模型，到了命令行环境就必须面对真实的系统交互和命令执行。 看榜单选模型要认准具体维度 · 榜单总分只是综合参考，写代码要重点看 FrontierCode 2.0 这类实打实合并 PR 的指标。 · 跑 Agent 自动化流程时，多关注 Terminal-Bench 这类真实环境交互的单项得分。 · 官方同时上线了 Progress Index v1，用来在同一连续尺度上持续跟踪模型能力演进。 这次榜单把重点转向私有数据和真实命令行交互，跑分水准越来越贴近实际工程体验了。 你平时写代码主力调的是哪个模型，对这次的排名变化意外吗？ #AI #大模型

曝光 44 · 评论 3 · 点赞 1 · 书签 0