GPT-6 Astra帮Qwen开智？只改0.016%权重，数学成绩暴涨6倍 MIT博士生Rikiya Takehi等人让OpenAI的GPT-6 Astr… · @mr_mofun · TwKit

@mr_mofun

GPT-6 Astra帮Qwen开智？只改0.016%权重，数学成绩暴涨6倍 MIT博士生Rikiya Takehi等人让OpenAI的GPT-6 Astra直接修改阿里开源小模型Qwen3.5-0.8B（约8亿参数）的权重，全程没有训练、没有梯度下降。 🪄结果非常惊人： ・MATH-500从7.9% → 48.1% ・GSM8K从13.8% → 67.1% ・IFEval（指令遵循）从21.0% → 62.3% ・撞token上限的比例从93%降到33% Astra具体做了什么？ 它发现模型在开启思考模式时，有93%的数学题会陷入「鬼打墙」——反复重复同一段话，直到顶满32,768个token还没交卷。 Astra追踪到第15层和第19层的某个方向会导致重复，于是从这两层各删掉64个方向，总共只改了131,072个权重（占全部参数的0.016%）。整个过程来回对话158轮，耗时约20.3小时。 研究团队自己也给出了清醒结论： 改权重能移除挡住能力的障碍，但加不出模型本来没有的能力。 他们用几乎不会鬼打墙的Gemma 3 270M试了同样方法，分数几乎没动（6.8% → 7.7%）。说明这次大幅提升，主要是“治好了病”，而不是真正让模型变聪明。 另外，实验需要给足够多的测试批次（50批）才有效，只给10批或25批时提升非常有限。

曝光 22 · 评论 0 · 点赞 2 · 书签 0