Gemini 4 Carbon发布与AI模型榜单争议 · 话题榜 · TwKit
AI科技 · 12 帖 · 12 位作者 · 曝光 638529
Google推出Gemini 4 Carbon并宣称其综合测试领先,引发模型排名、版本命名和上线范围讨论;另有帖子质疑评测题目调整后国产模型得分下降。
- 对比Gemini 4 Carbon与GPT、Claude等模型的基准表现
- 讨论Carbon是新模型还是新检查点,以及当前可用范围
- 分析榜单测试集变化是否影响国产模型排名
@CuiMao
恭喜Deepseek V5.1 Pro 在各项基准测试中超越了Opus5.5
查看原帖@laopai1990
恭喜 Gemini 4 Carbon 成为全球最强模型!! Pro 用户:不能用。 Ultra 用户:不能用。 API 开发者:不能用。 Artificial Analysis:全球第一。 Google:感谢大家观看。 我:🤬
查看原帖@JamesDa55049936
裁判亲自下场改规则,这集我真看笑了。 中国开源大模型刚组团冲进第一梯队,AA 连夜“优化”测试集: • Kimi:55 ➔ 46 • DeepSeek:45 ➔ 32 • GLM:45 ➔ 32 • 小米 MiMo:46 ➔ 30 国产全军覆没大跳水,反观 Claude Opus 5.5,愣是一分不掉稳坐钓鱼台。 最绝的是什么? Anthropic 前脚刚递交 IPO 招股书,后脚榜单就准时“精准爆破”。 达里奥这是直接空降出题组当组长了吧? 这世界上的巧合,果然都是明码标价的 🤡
查看原帖@xluchuan
想不通 为什么 AA 把 60% 题目改为私有 国产大模型就集体掉分了
查看原帖@MaxForAI
逆天了,美国大豆包居然跑到世界第一了!??? @GoogleDeepMind 刚刚发布了Gemini 4 Carbon,在Artificial Analysis Intelligence Index v5.0上拿到了59分,超过Claude Opus 5.5的58分和GPT-6 Astra的57分。 最离谱的是,距离上一代Gemini 4 Argon发布才过去两周,分数就从50涨到了59。 Google公布的17项评测里,Carbon拿下了15项最高分,尤其是网络安全、长上下文和Agent能力,提升非常明显。 要知道,之前中文互联网一直管Gemini叫「美国大豆包」,因为它经常一本正经地胡说八道,指出错误之后又特别喜欢道歉,情绪价值拉满。 结果现在,美国大豆包突然支棱起来了。 不过目前Carbon还没有向普通用户开放,排行榜第一能不能转化成实际体验,还得等大家真正上手。 只能说,Google这次是真把美国大豆包给练出来了。。 RSI无敌了😭
查看原帖@Dicklong1999
谷歌内部是不是已经实现 RSI 了?Gemini 发模型的速度突然变得有点令人陌生 Gemini 3.1 Pro:存活 93 天 Gemini 3.5 Flash:存活 89 天 Gemini 3.6 Flash:存活 63 天 Gemini 3.7 Flash:存活 23 天 Gemini 3.8 Flash:存活 20 天 Gemini 4 Argon:存活 28 天(实际存活15 天) Gemini 4 Carbon:突然横空出世
查看原帖@xueyu1125
💥突发,Gemini 4 Carbon发布了 基准测试几乎是全面碾压GPT-6 Astra、Claude Opus 5.5 Google重回世界第一???
查看原帖@luojiuyue
不是!!!我没搞懂啊,朋友们!!! 谷歌这是发了个新模型????还是只发了个新公告啊!!! Google Gemini 4 Carbon到底在哪里可用呢????? 我就想问了!!!!
查看原帖@leo114119
老实说,AA 这个 V5 将沦为野榜中的野榜。。。 但凡真正的用过这些模型,以下几个评分都是不可思议的: 1.Deepseek v4.1 Flash 32 分<<<Gpt 6.1 Terra 51 分。。。(实际使用不能说相差无几,顶多落后一点点吧) 2.Gpt 6.1 Terra 51 分>>Fable 5.1 49分(这两个模型甚至不在一个水平线上) 3.Deepseek v4.1 Flash 32 分 mimo v2.6 Pro 30 分....(mimo v2.6真的有人敢用来实际生产吗?) 以上几个评分完全是脱离实际使用体验,可以说是非常离谱的。。。。。 承认国模当前是落后的,甚至落后可能不止一点,都没问题,但这个榜绝对是有问题的。。。 https://x.com/ArtificialAnlys/status/2115265133467635877/photo/1
查看原帖@dotey
Google 发布 Gemini 4 Carbon,综合榜排第一,本周只给网络安全防御团队用,普通用户和开发者还要等 Google 10 月 28 日发布新模型 Gemini 4 Carbon,离上一个模型 Gemini 4 Argon 只隔了两周。在第三方评测机构 Artificial Analysis 的综合排行榜(v5.0 版)上,Carbon 59 分排第一,比 Claude Opus 5.5 高 1 分,比 GPT-6 Astra 高 2 分。 这次你暂时用不上。Argon 发布当天,Google AI Pro、Ultra 订阅用户和付费 API 开发者就能用;Carbon 本周只给“一部分网络安全防御者”,之后通过 Fairwind 计划放给更多合作方,再往后才轮到开发者、企业和普通用户。哪天开放,官方没说,Sundar Pichai 在推文里只说“很快”。 Fairwind 是 Google 让网络安全防御方提前用新模型的计划,Argon 时就有。按官网说明,名额优先给国家网络安全机构、医疗电信能源金融等关键基础设施运营方和大型科技平台,要经 Google Cloud 客户团队申请、做背景审查,只能给内部安全团队用。普通人和一般公司进不去。 【多少钱】 API 价格和 Argon 一样:引入价每 100 万 token(模型处理文字的基本单位)输入 2 美元、输出 10 美元,引入期过后涨到 4 美元和 20 美元。Argon 的引入价到 11 月 30 日为止,Carbon 的引入期到哪天官方没说。会不会进 Gemini App、要哪档订阅,官方也没说。 【比 Argon 和别家强在哪】 Google 说 Carbon 能连续跑好几天,碰到死胡同会自己换路,适合在大型代码库里追查隐蔽 bug 再修好。按 Google 内部测试,它写出安全代码的成功率是 Argon 的两倍多,没有依据的说法少了约一半。 Google 公布的对比表有 17 项测试,Carbon 拿了 15 项第一。没赢的两项:写代码的 FrontierSWE 2,GPT-6 Astra 65.5%,Carbon 61.2%;操作电脑的 OSWorld,Claude Opus 5.5 87.2%,Carbon 81.5%。表里别家的分数大多取自各家自己公布的数字或公开榜单,有几项是 Google 自己跑的。 【安全分数高,是不是能帮人黑系统】 Pichai 推文里的三个分数,对应安全团队处理漏洞的三步。 找漏洞:SEC-bench Pro 88.2%。题目是浏览器 JavaScript 引擎里真实出现过的漏洞,模型要自己找到,并写出一小段代码证明漏洞确实存在。这项是 Google 自己跑的,GPT-6 Astra 85.4%。 确认漏洞能不能被利用:ExploitGym 54.8%。模型在断网的隔离环境里,针对已知漏洞写出能攻进测试程序的代码。安全团队靠这一步排优先级,能被利用的先修。GPT-6 Astra 42.4%,Claude Opus 5.5 34.5%。 修漏洞:CWE-bench 71.0%。由第三方 Collinear 出题打分,模型要修好真实开源项目里的漏洞,修完攻击失效、原有测试全部通过才算对。 同样的本事,落到坏人手里也能用来攻击。Google 写明这些分数是关掉安全防护后测的。它的做法是先只给审查过的防御方用,同时参加美国政府自愿的发布前模型测试,等调整好防护再向开发者和普通用户开放。 官方博客:https://blog.google/innovation-and-ai/models-and-research/gemini-models/introducing-gemini-4-carbon/ 评测方法:https://deepmind.google/models/evals-methodology/gemini-4-carbon
查看原帖@ScarletKc
Gemini 4 Carbon 看下来很可能就是 Argon 的一个新 checkpoint,但为什么不直接提个版本号,比如叫 Gemini 4.1? 这个命名真的让人搞不明白。Argon 是氩,Carbon 是碳,那碳到底是什么意思?光看名字完全看不出它跟 Argon 是什么关系,是更大的模型,还是同一个模型的升级版。真按原子序数算,碳还比氩小。
查看原帖@YxzRainy
达里奥这次也是直接当上 AA 的出题组组长了🤓☝️ Kimi 开源模型刚冲进第一梯队,AA 连夜换了套卷子... Kimi:55 → 46 DeepSeek:45 → 32 GLM:45 → 32 小米 MiMo:46 → 30 中国开源模型集体掉大分,Claude Opus 5.5 愣是一分没掉... 最巧的是,Anthropic 前一天刚提交 IPO 招股书……🤣 这时间点是不是有点太巧了?🤡
查看原帖