# 語言模型燒掉的算力，42 倍都白燒了？楊立昆新定理說：你走的是彎路 楊立昆和 Randall Balestriero 在 arXiv 發表的新論文，先把… · @swordBluesy · TwKit

@swordBluesy

# 語言模型燒掉的算力，42 倍都白燒了？楊立昆新定理說：你走的是彎路 楊立昆和 Randall Balestriero 在 arXiv 發表的新論文，先把最反常識的結論放在前面：**「柏拉圖表示假說」不再是假說，他們把它證明成了定理——而且證明順帶拆了語言模型的台：次詞元預測（next-token prediction）是「壞視角」的 JEPA，好視角達到同等對齊，樣本只要它的四十二分之一。** 先說清詞。**柏拉圖表示假說（Platonic Representation Hypothesis，PRH）**，是說不同模態（文字、圖像）訓練出來的模型，規模越大，學到的世界表示越趨同。**JEPA（Joint-Embedding Predictive Architecture，聯合嵌入預測架構）**，是楊立昆主推的架構：不預測原始像素或詞，而是預測抽象表示。**好視角（good views）**，是同一場景的兩次觀測組成的正樣本對；**壞視角（bad views）**，則是從同一份文件裡切出來的片段。**旋轉對齊**，是說兩個表示之間只差一個旋轉變換，轉一下就能對上。 這篇論文的定理是這樣說的：用好視角訓練的 JEPA，不管幾個模態分開訓，學到的都是同一個表示，只差一個旋轉——前提是正樣本對確實是同一場景的兩次觀測、且錯位有界。而次詞元預測，恰恰是壞視角的 JEPA：它拿同一份文件的片段當正樣本，這就解釋了為什麼語言模型非得靠堆規模，才能勉強跟視覺對上。 先把話說全，免得把定理吹成魔法：第一，驗證規模不小，從 14.5 萬條字幕一路做到 9.4 億張網絡圖片的文本，還總結出一條對齊縮放律，能在種子噪聲範圍內預測沒跑過的實驗。第二，好視角的省樣本是實打實的：同一語料上達到同等對齊，好視角只要次詞元預測四十二分之一的樣本。第三，一個只有 1.09 億參數的文本 JEPA，跟 DINOv2、CLIP 圖像編碼器的對齊，勝過他們測過的每一個語言模型（最大到 720 億參數），也勝過 CLIP 自己的文本編碼器。第四，旋轉一下就能幹活：分開訓的編碼器只轉一個旋轉，就成了看圖說話模型（COCO 上 CIDEr 0.838）；而且那個旋轉甚至不需要配對數據，在最新的無配對基準上，他們的文本 JEPA 零樣本準確率勝過所有 80 億參數以下的語言模型，例如 ImageNet-100 前五準確率 64%，對手最高只有 56%。 這跟 10 月 30 日已發的大佬言論不重複：那幾條是 Neuralink、DRAM、1 吉瓦成本，這篇是 10 月 29 日剛提交的 arXiv 論文。另外要說明：未核到楊立昆的 X 原帖連結，本文原文連結用的是論文原文，不編造原帖連結。 原文連結：https://arxiv.org/abs/2610.39302 原文：Randall Balestriero、Yann LeCun（由 S1哥 編譯） ## S1哥觀點 我站這一邊：堆規模是笨辦法，好視角才是槓桿。論文最狠的一刀，是把「大力出奇蹟」從信仰降格成了低效率路線——你燒掉的算力，42 倍裡有 41 倍是在為壞視角還債。一個 1.09 億參數的小模型能贏 720 億參數的對手，這不是小打小鬧，這是路線宣判。 打個比方：這就像兩個人學認路，一個人天天繞遠路、靠走得多硬記下來，另一個人站在高處看一眼就記住了地圖——你猜誰先到？所以問一句：你現在訓模型、選架構，還在迷信參數規模嗎？評論區說實話。

曝光 112 · 评论 1 · 点赞 0 · 书签 0