SemiAnalysis 发布 GDPx：最强的模型只拿了 12% SemiAnalysis 今天发了一个新基准，叫 GDPx，专门测 AI 在最值钱的行业… · @Michaelzsguo · TwKit

@Michaelzsguo

SemiAnalysis 发布 GDPx：最强的模型只拿了 12% SemiAnalysis 今天发了一个新基准，叫 GDPx，专门测 AI 在最值钱的行业里能不能真正干活。最好的模型，总分 12%。 那么为什么要有一个新基准测试呢？现在新模型发布，模型卡上最常见的通用能力指标还是 OpenAI 的 GDPval。但这个指标存在致命的缺陷：任务把上下文一次性给完，没有真实的环境；评分靠 rubric，人类评审之间的一致率只有 71%；有些参考答案本身就是错的。 GDPx 的选题方式反过来。不按 GDP 占比，也不按职业分类，只问一个问题：AI 的第一个万亿美元收入会集中在哪些行业？他们的答案是 11 个领域：芯片设计、硬件设计、网络安全、生物、金融、法律、量化交易、软件工程、材料科学、对齐，还有递归自我改进（RSI）。政府、地产、保险被刻意排除。 每个任务都放在一个模拟的真实环境里。比如金融任务，模型要处理一个大约 4000 个文件的 deal room，原型是一笔真实的交易。默认时限 8 小时，模型尽量跑在自己的原生 harness 里（Opus 5.5 用 Claude Code），没有原生 harness 的默认用 OpenCode。 SemiAnalysis 专门提到，Opus 5.5 和 GPT-6 Astra 在网络安全、生物、对齐这三个领域会被自家的安全机制拦下来。把这三个领域去掉，只看剩下的 8 个，排名变成这样： GPT-6 Astra：11.8%
Claude Opus 5.5：11.7%
GPT-6.1 Sol：10.5%
Claude Sonnet 5.5：9.7%
Gemini 4 Carbon：9.2%
Claude Fable 5.1：8.6%
Meta Muse Wonder Full：6.2%
Gemini 4 Argon：5.4%
DeepSeek 4.1 Flash：3.7% 这个排名和我们日常用下来的体感很接近。

曝光 328 · 评论 3 · 点赞 1 · 书签 1