推文

@ScarletKc · 2026-10-15 14:07

GPT-6-Astra 在 Codex 里做了 50 道还没发表的理论物理研究题，对了 49 道，平均每题不到 3 美元。 这些题是三十多位研究者从自己的研究里改出来的，量子场论、全息、宇宙学、凝聚态都有，就算是这个方向的顶尖专家，做一道也要差不多一天。Opus 5.5 配 Claude Code 对了 46 道，但花的钱是 Astra 的两倍多。Gemini 3.8 Flash 对了 34 道，开源的 DeepSeek V4.1 Flash 和 GLM 5.3 只有 27 和 21 道。 最离谱的是，作者一开始以为 Astra 还错了好几道，回头找出题的专家核对，发现是专家自己的参考答案算错了，那几道 Astra 其实都是对的。唯一没做出来的是一道逆问题，所有模型都没做出来。 还有一点挺有意思，把联网搜索关掉，各家的正确率几乎没变。很多题要用到论文里的具体公式，模型不查资料也写得出来，基本等于把理论物理文献背下来了。 作者的看法是 agent 的计算能力已经能跟领域专家比，但还不会自己挑值得做的问题，方向还得靠人来定。这类题以后也不适合拿来给刚入门的研究生练手了。

曝光 4767 · 评论 16 · 点赞 60 · 书签 11 · 曝光/时 4195.835655648642