兄弟们，MIT CSAIL 的这篇帖子有点猛啊，值得一个卧槽🤯 他们做了一个极其反常识的实验。 没写训练代码，没跑梯度下降，更没花大把算力。 他们只是把 Q… · @liyue_ai · TwKit

@liyue_ai

兄弟们，MIT CSAIL 的这篇帖子有点猛啊，值得一个卧槽🤯 他们做了一个极其反常识的实验。 没写训练代码，没跑梯度下降，更没花大把算力。 他们只是把 Qwen3.5-0.8B 的底层权重，也就是那堆几千万个密密麻麻的浮点数，直接当成纯文本，扔给了前沿大模型。 然后跟它说：你帮我瞅瞅，这家伙数学老卡壳，问题出在哪，把它修好。 结果大模型扫了一遍这堆纯数字，直接圈出了导致逻辑死循环的位置，接着像做脑外科手术一样，只改了其中 0.016% 的权重。 改完之后，这个小模型的数学推理成绩直接从 7.9% 飙到了 48.1%，整整翻了 6 倍。 这是最卧槽的地方，万分之 1.6 的微调，不花一分钱训练费，模型自己把自己修聪明了。 打个通俗的比方： 过去十几年，深度学习对人类来说一直是个绝对黑盒。 我们训模型就像在黑屋子里摸着几百亿个微调旋钮，根本不知道哪个管什么，只能靠海量数据和算力去死磕、去盲转。 人类看那堆权重，就像在看一堆乱码。 但 MIT 这次实验直接戳破了一层窗户纸：我们看不懂的天书，在更聪明的模型眼里，清清楚楚全是源代码。 甚至给它 17,000 多个毫无注释的小模型数字，它扫一眼就能告诉你：这玩意 99% 的概率是在玩打砖块，因为参数的分布规律和球拍、砖块完全对得上。 MIT 把这个叫 Weight-Space Programming（权重空间编程）。 以前大家调校汽车引擎，得把车拉到赛道上狂跑几万公里看磨损；现在突然来了一个老师傅，耳朵贴在机盖上听了两秒，掏出螺丝刀把某个螺丝拧了半圈，车速直接翻倍。 虽然现在还在非常早期的实验阶段，千亿参数的庞然大物还做不到这么改，但这扇门推开的意义完全不一样。 未来的软件工程，可能连代码都不用写了。 人类负责提需求，前沿模型直接在参数空间里，一行一行给小模型“改脑子”。

曝光 393 · 评论 0 · 点赞 0 · 书签 0