最强的几个 AI，一起栽在了猜杯子上。 GPT-6 Sol、Claude Opus 5.5、Gemini 3.8 Flash 都在里面。 Ai2 刚发了个测… · @tvytlx · TwKit

@tvytlx

最强的几个 AI，一起栽在了猜杯子上。 GPT-6 Sol、Claude Opus 5.5、Gemini 3.8 Flash 都在里面。 Ai2 刚发了个测试叫 StateBench，测一件很朴素的事： 一段很长的文字里，东西变了很多次，模型还能不能说清它现在是什么。 难度分四级： 记一个不会变的东西，比如生日。 只看最新那次，比如空调，最后调到几度就是几度。 每次在当前值上改，比如比分，一分一分往上加。 互相引用，一个东西直接抄另一个的值，或者两个对调。就像魔术师把球扣在五个杯子下面来回换。 前两级，这几个模型都挺稳。 后两级，文本一长，准确率掉得很快。 最长的那批最难题，掉到 13% 甚至更低。 原因说穿了很简单。 找最新值，中间漏看几步无所谓。 跟杯子，漏一步，后面全错。 更有意思的是后面的实验。 开源的预训练模型，在最难那级基本都在瞎猜，架构不同也一样。 然后他们拿 2.75 亿参数的小模型，专门在这类题上训练。 训练时最多见过 256 步，测试一路拉到 64000 步。 Gated DeltaNet 和混合架构，前三级几乎满分，几万步都没垮。 最难那级，其中一版 Gated DeltaNet 也撑到了训练长度的 10 倍左右。 Transformer 简单的能学会，但越长越差。 最难那级，专门训练也没学会。 我觉得这个对比挺狠的。 同样做不好，一边是没教过，教了就会。 一边是专门教了也不会。 打个不太严谨的比方： Transformer 像每次回答前回头翻整本书找线索，查生日特别快。 Gated DeltaNet 像边读边在小本本上记，球现在在哪个杯子下面。 跟杯子这种事，得一步一步顺着推，光翻书翻不出来。 边界也得说清楚。 这是合成题，评论区已经有研究者直接质疑：玩具题上做得好，不代表真实代码库就跟得住。 而且它的变量数量是固定的，真实的长对话里，新的人和东西会不断冒出来，这部分还没测。 不过平时让 AI 读一长串改来改去的东西，问它最后到底是什么状态， 比如反复修改的合同条款、对账流水、多轮谈判里谁让了什么， 我觉得别指望它一口气答对，让它边读边把中间状态写下来，会稳一些。 AI 要是去街头玩猜杯子，大概是摆摊大爷最喜欢的那种客人。 跟我小时候一样。 https://x.com/allen_ai/status/2117670295339171994

曝光 356 · 评论 4 · 点赞 4 · 书签 0