TwKit
正在载入
TwKit

只改 0.016% 的权重,Qwen 的数学能力直接翻了 6 倍。 MIT CSAIL 的 Rikiya Takehi 让 GPT-6 Astra 直接编辑… · @xiaoshan0413 · TwKit

@xiaoshan0413

只改 0.016% 的权重,Qwen 的数学能力直接翻了 6 倍。 MIT CSAIL 的 Rikiya Takehi 让 GPT-6 Astra 直接编辑 Qwen3.5-0.8B 的权重:不训练、不算梯度,动了万分之一点六的权重,推理循环修好了,数学涨 6 倍。博客截图更具体:MATH-500 从 7.9% 干到 48.1%。 他管这叫"权重空间编程"——前沿大模型现在能直接读写神经网络的权重。编辑完的模型已经开源到 Hugging Face,有人按公开日志复现,跑出了 51%。 以前调模型靠喂数据、跑训练,这套玩法是直接开颅修权重。以后模型可能不用练了,修就行。 https://x.com/rikiyatakehi/status/2117313742891327994

曝光 54 · 评论 1 · 点赞 0 · 书签 0

查看原帖