LLM能不能最终推进AGI, 谷歌的 Tom Zahavy写了一篇优美的论文 这是我最近读到最喜欢的论文。 只有7页半，从爱因斯坦，广义相对论，到推理三分法… · @Zen_with_AI · TwKit

@Zen_with_AI

LLM能不能最终推进AGI, 谷歌的 Tom Zahavy写了一篇优美的论文 这是我最近读到最喜欢的论文。 只有7页半，从爱因斯坦，广义相对论，到推理三分法， 到LLM和AGI用非常简明有逻辑的语言把他的观点讲明白了。 小路精读了这篇论文，想带着您一步一步跟随Tom的思维演绎给您。这篇文章没有利用任何AI，也希望您跟着读下来。 爱因斯坦在给终身好友Solovine的信中，提纲挈领的总结了科学发现的流程，从感官经验（E）出发，通过一次直觉的"跳跃"（Jump, J）得到公理系统（A），再从公理演绎出定理（S），最后用实验检验。 也就是 E->J->A->S->E （感官经验->跳跃->公理->演绎出定理->实验） Tom认为，LLM可以做到归纳，也就是统计模式匹配。正在攻克演绎 也就是上文的S. 也可以帮助科学家实现从 S->E。 但是从 E->J->A这个环节，跳跃还是无法实现。 然后 Tom 举了爱因斯坦广义相对论诞生的例子： 1. 经验。 十九世纪末，迈克尔逊-莫雷实验让以太假说失效。牛顿引力则极其精确，惯性质量与引力质量之比验证到 10⁻⁹ 的精度。唯一的异常是水星近日点进动，当时的主流解释是还有一颗未发现的行星"祝融星"。牛顿理论并没有出现危机。 2. 跳跃。 1907 年起，爱因斯坦想象一个自由下落的人：他感受不到引力，可以认为自己静止。这就是"最快乐的想法"，即加速与引力等效。这一步不是从数据里归纳出来的，而是靠模拟观察者的身体感受得到的，论文称之为"操作性溯因"。 3. 公理。 1912–1913 年，他与 Grossmann 合作，把物理要求整理成七条原则，包括等效原理、测地线原理、"引力也有引力"和牛顿极限。 4. 演绎。 此后是漫长的数学搜索。他们找到了黎曼曲率张量，却因误以为它不满足牛顿极限而放弃，这个错误出在对静态场的假设上，而不是几何本身。1915 年 11 月，爱因斯坦终于得到场方程，并用它算出了水星进动。 5. 检验。 星光偏折由 Eddington 在数年后测得，GPS 修正更晚。验证证据全部出现在理论之后。 Tom的观点是，演绎只是整个循环的下游环节。如果把爱因斯坦 1915 年的假设交给 LLM，它有可能推出广义相对论，包括水星进动，也可能系统地剔除那个错误的约束。AlphaProof 在 IMO 上的表现，以及 Lean 等证明助手的成熟，都支持这种判断。 但是演绎的局限性是， 1.它只能展开公理的后果。 它既不能生成公理，也不能提供外部验证。 2. 它缺少意图. 换句话说，AI 擅长的是"别人出好题，它来解"。但科学发现更像是自己决定出什么题，还要在没人告诉你对不对的情况下往前走。这是论文说的"意图"：不只是会推理，还要知道想要什么。 这个听起来简单，但是实际上，我们和AI合作的过程中也有体会。 问正确的问题，给准确的目标，其实是LLM本身最欠缺的。尤其是在前沿研究领域。没有其他文献可以查询，如何实现这个跳跃？ 另外，LLM可以在既有符号空间内更高效地重组概念。甚至可以进行视觉和世界模型预测。但是基于模型的模拟，不等于真是交互模拟。真正的跳跃也往往收到虚拟模型的限制。 简单总结一下就是，Tom认为AI Scientist 是在重组既有符号概念，AlphaEvolve 依赖梯度，在固定框架内优化。关键瓶颈是 E→A 的直觉跳跃，应走向能感知物理世界、运行反事实模拟的世界模型。 https://www.tomzahavy.com/projects/llms-cant-jump

曝光 80 · 评论 1 · 点赞 7 · 书签 4