Astra 好强! 只改万分之一点六的参数,小模型数学分直接翻好几倍。 MIT CSAIL 11月2日发文《Weight-Space Programming… · @Zhibin992 · TwKit
@Zhibin992
Astra 好强! 只改万分之一点六的参数,小模型数学分直接翻好几倍。 MIT CSAIL 11月2日发文《Weight-Space Programming》:让 GPT-6 Astra 不靠梯度、不训练,直接读写神经网络权重。对 Qwen3.5-0.8B,Astra 只改约 0.016% 权重(131,072 个),修掉推理循环。同样采样设置下,MATH-500 从 7.9% 升到 48.1%,GSM8K 13.8%→67.1%,指令跟随 IFEval 21.0%→62.3%;撞 token 上限比例从约 93% 降到约 33%。Ethan Mollick 转评称「等复现,但分量很大」。 这对中国年轻人意味着什么:以后调模型不一定非得会训、会堆卡,能读懂权重行为、会下精确改动指令的人,也可能切入模型优化这条路。小模型端侧部署也会更香——修好一个卡点,就能把现成能力释放出来。 你觉得「直接改权重」会先成批量工具,还是长期只停在实验室演示? #世界互联网大会##人工智能##AI##大模型##科技前沿
曝光 269 · 评论 6 · 点赞 3 · 书签 1
查看原帖