杨立昆这次拿出了一个挺惊人的结果：1.09 亿参数的小模型，在一项跨模态理解测试中，超过了 720 亿参数的大语言模型。参数量相差足足 660 倍。 10 … · @sleepy0x13 · TwKit

@sleepy0x13

杨立昆这次拿出了一个挺惊人的结果：1.09 亿参数的小模型，在一项跨模态理解测试中，超过了 720 亿参数的大语言模型。参数量相差足足 660 倍。 10 月 29 日，Yann LeCun 和 Randall Balestriero 发表了一篇新论文，试图从理论和实验两方面证明，他坚持多年的 JEPA 路线到底有什么优势。 过去几年，大模型行业一直有个很重要的假设：只要模型足够大、训练数据足够多，无论学习的是文字、图片还是声音，模型最终都会形成某种趋同的世界表征。这就是所谓的「柏拉图表征假说」。 但 LeCun 的研究发现，模型能否形成这种共同表征，很大程度上取决于训练时如何组织数据。 举个例子，同一张照片可以有两段不同的文字描述。虽然措辞不同，但它们指向同一个场景。JEPA 可以通过学习这两段描述之间的关系，提取出相对稳定的场景信息。 相比之下，主流 LLM 依赖预测下一个 Token 学习语言中的统计关系。它们当然也能学到大量关于世界的知识，但要让这些知识形成与视觉模型相似的内部表征，可能需要付出高得多的训练成本。 论文给出的实验结果很有意思： 在相同数据来源下，JEPA 使用 2160 万个训练样本，就达到了传统 Next-Token Prediction 模型在 9 亿样本时的跨模态对齐水平。按样本数计算，相差约 42 倍。 更夸张的是，一个只有 1.09 亿参数的文本 JEPA，在与视觉模型内部表征的对齐指标上，超过了研究中测试的所有大语言模型，包括 720 亿参数的 Qwen。 当然，这不代表 1.09 亿参数的 JEPA 已经可以在推理、编程和日常对话上打败 720 亿参数的 LLM。论文证明的范围要窄得多，目前也还没有独立复现。 但我觉得这个结果依然值得重视。 LeCun 一直在批评大语言模型过度依赖文本预测。他认为，模型积累了大量事实知识，不等于真正理解了世界。而 JEPA 希望通过学习不同观测之间的共同结构，让模型用更少的数据和参数形成世界表征。 这篇论文至少给他的判断提供了一组相当有力的实验支持。 过去几年，AI 行业最重要的竞争几乎都围绕着 Scaling 展开。更多 GPU、更多数据、更大的模型，几乎成了默认的发展路线。 现在，一个值得认真讨论的问题出现了：如果换一种训练目标、重新组织数据之间的关系，就能大幅提高模型学习世界表征的效率，那么过去几年行业砸进去的庞大算力，有多少是在弥补训练方法本身的低效？ Scaling 当然还会继续，但 LeCun 正在尝试证明，我们可能还有另一条路可以走。

曝光 410 · 评论 2 · 点赞 0 · 书签 0