推文

@Zen_with_AI · 2026-10-16 01:28

我们花了十年说神经网络是一团乱麻，现在发现可能看错了。 1. 结论反了：2% 和 90% 神经网络是什么：一堆神经元连成的计算机器，输入进去，输出出来。 以前以为怎么样：里面一团乱麻，神经元各管一堆不相干的事，人看不懂。 现在发现怎么样：现代大模型里，约 90% 的神经元只干一件事，偶尔扩展到相关任务；约 7% 干两个相关任务；只有约 2% 到 4% 还没解释清楚。 数字来自哪：Qwen3-32B 等模型上的初步审计。 说这话的是谁：Nick Cammarata，以前在 OpenAI 做可解释性研究，当年他说只能读懂一小部分神经元。 现在他改口了：大多数神经元功能很清晰，电路比想象中规整。 文章叫什么：《Neural Networks Are Already Clean》，Goodfire 写的。 2. 以前为什么看错了 叠加是什么：模型要记的特征比神经元多，只能让多个特征挤在同一个神经元里。 多语义性是什么：一个神经元同时对几件不相干的事有反应，比如既对猫胡须反应，也对汽车轮子反应。 这样看怎么样：光看激活情况，分不清它到底在干什么。 工具怎么样：早期可视化工具不可靠，有时候为了刷高分找输入，没画出神经元的真实功能。 老架构怎么样：老网络层会特征溢出，不同功能挤到一个神经元上。 新架构怎么样：残差连接、LayerNorm 这些现代设计，让特征组织更干净。 结论是什么：以前看到的乱，一部分是模型真乱，一部分是工具不行。 3. 神经元怎么工作：像一棵树 递归泛化是什么：神经元围着一个核心模式干活，再一步步扩展到相关表达。 例子怎么样：先对字母组合"iy"反应，再对"diy"反应，再到"do it yourself"。 树是什么：主干是核心模式，分支是相关变体，分支还能再长分支。 弱激活是什么：神经元对相关概念泛化时留下的痕迹，不是乱反应。 SAE 是什么：稀疏自编码器，以前用来从激活里提取好解释的特征。 SAE 怎么样：文章怀疑，它很多特征只是把已有神经元的功能换了个说法，没发现新东西。 4. 研究方法变了：Agent 来干活 以前怎么做：人手动看激活样本，提解释，一个个验证，慢，人手不够。 现在怎么做：Agent 批量干活，提假说，生成测试样本，检验解释，追着归因链往下查。 循环是什么：提解释，找证据，查反例，决定保留还是扔掉，再来一轮。 好处是什么：单个解释未必可靠，但流程能批量生成、测试、纠错，研究能规模化。 苦涩教训是什么：Rich Sutton 说的，能随计算规模扩展的方法，长期看总赢过靠人精巧设计的方案。 用在这里怎么样：不用等一把万能钥匙，让大量 Agent 做简单的调查，攒起来就可能质变。 5. 别高兴太早：还没解开黑箱 看懂神经元是什么：知道单个神经元主要干什么。 看懂模型是什么：知道神经元怎么协作，完整决策过程怎么来的。 两者怎么样：看懂前者，不等于看懂后者，中间还有很长的路。 数字怎么样：90%、2% 这些数字还要独立验证，不同模型上还得再测。 几个月迁移是什么：文章预期，视觉模型上十年的经验，几个月内能用到前沿语言模型上。 这话怎么样：是预期，不是已验证的结论，语言模型和视觉模型的架构、任务都不一样。 Agent 怎么样：能批量干活，也能批量犯同一种错，独立验证、反例测试、复现评估一样不能少。 有人说怎么样：AI 最终可能靠自己的能力，解开 AI 自己的黑箱。 原文：https://already-clean.goodfire.com/

曝光 109 · 评论 0 · 点赞 0 · 书签 1