GPT-6 Astra 改了 Qwen3.5-0.8B 万分之 1.6 的权重，MATH-500 从 7.9% 涨到 48.1%。这条结果这两天被转疯了，可… · @wei_wang · TwKit

@wei_wang

GPT-6 Astra 改了 Qwen3.5-0.8B 万分之 1.6 的权重，MATH-500 从 7.9% 涨到 48.1%。这条结果这两天被转疯了，可拆开看，它修好的是模型的思考死循环，数学本身没变强。 论文叫 Sparks of Weight-Space Programming，作者来自 MIT CSAIL，讲的是让大模型直接读写神经网络的权重，不用梯度，不跑训练。 1. 实验怎么做的 给 Astra 一个 Python 会话，Qwen3.5-0.8B 的权重已经加载好，没有 GPU。 再给它一批练习题，7469 道 GSM8K、7275 道 MATH，都不是测试集。它可以跑 10、25 或 50 次前向，每次最多让模型答 512 道题，看结果再改权重。 不许算梯度，不许写训练循环。测试时开 thinking，每题最多 32768 个 token。 2. 它发现了什么 Qwen3.5-0.8B 的模型卡本身就提醒过，这个模型容易在思考里打转。原模型答前 96 道练习题，有 85 道一直写到 32768 的上限也没出答案。 Astra 把打转追到了一个方向上，这个方向由第 15 层和第 19 层的 MLP 写进残差。它把这个方向从两层各 64 个输出列里减掉，一共改了 131072 个权重。 3. 结果 50 次前向的版本： 1. MATH-500 从 7.9% 到 48.1% 2. GSM8K 从 13.8% 到 67.1% 3. IFEval 从 21.0% 到 62.3% 4. 写满 token 上限的比例从 93.0% 降到 33.1% 10 次和 25 次前向的版本，写满上限的还有 87% 左右，分数也只涨了几个点。 IFEval 测的是听不听指令，和数学无关，也跟着涨，说明改掉的是一个到处都在拖后腿的毛病。 4. 为什么说没变强 论文自己做了对照。Gemma 3 270M 很少打转，写满上限的只有 8.5%。同样的流程，MATH-500 从 6.8% 最多到 7.7%，基本没动。 Astra 读 Gemma 的错题，看到的是算错数、代数步骤不对，找不到一个能关掉的部件。论文的原话意思是：改权重能去掉一个挡住能力的障碍，加不了模型本来没有的能力。 原来的 Qwen 在 32K 以内能答完的题，本来就答对了。修掉死循环，等于让它有机会把会做的题做完。 5. 争议在哪 摘要里写的是光看原始权重就能看出网络学了什么。有人把每个实验逐个列了出来，只看原始权重、不用工具的，只有 3 个，网络都只有 1.7 万到 17 万个权重。 所有涉及真语言模型的实验都用了 Python，Qwen 这个还能跑最多 50 批题看效果。 手法本身也不新。准备几对打转和不打转的文本，算两边残差的差，找出贡献最大的权重再削掉，这和本地圈子做 abliteration 去拒答的思路是一套。Astra 也确实写了 4 对文本来定位。 6. 对本地玩家有什么用 小模型、重度量化的模型在长思考里打转很常见，以前的办法是调 presence penalty、换采样参数，或者重新微调。 这篇说明另一条路是通的：找到导致打转的那个方向，直接从权重里减掉，只动万分之一点几，不用训练数据，也不用 GPU 跑训练。 前提是问题真的集中在一个方向上。像 Gemma 那样是能力不够，改权重帮不上忙。

曝光 352 · 评论 2 · 点赞 3 · 书签 1