前两天刷屏的「GPT-6 Astra 修改 Qwen 0.016% 的权重，就把数学成绩从 7.9% 提升到 48.1%」，现在被 spaCy 作者 Mat… · @Vincent_AINotes · TwKit

@Vincent_AINotes

前两天刷屏的「GPT-6 Astra 修改 Qwen 0.016% 的权重，就把数学成绩从 7.9% 提升到 48.1%」，现在被 spaCy 作者 Matthew Honnibal 指出存在误导性表述。 问题不在于成绩造假，而是原研究把几种完全不同的实验放在一起，很容易让人误以为 Astra 已经能够直接看懂大模型的全部权重。 他专门整理了一张实验对照表，发现： ① 真正只读取原始权重、不借助 Python 和环境反馈的实验，使用的是 1.7 万到 17.2 万参数的小型网络。 ② Qwen3.5-0.8B 的实验涉及约 8 亿参数，但 Astra 并没有直接读取全部原始权重，而是借助 Python 工具进行分析、修改，并允许最多 50 次前向测试。 ③ Astra 发现 Qwen 存在推理循环问题，通过修改 0.016% 的权重，让它更容易跳出循环、完成回答，最终将 MATH-500 成绩从 7.9% 提升到 48.1%。 ④ 同样的修改方法在 Gemma 3 270M 上没有成功，说明这种能力并非对所有模型都有效。 关键是：「直接阅读原始权重」和「通过工具、测试来修复大模型」是两种不同的能力。 Astra 的表现依然很惊人，相当于让 AI 自己分析模型、编写代码、修改权重并验证结果。 但这不代表它只看一眼 8 亿个参数，就能直接知道哪里出了问题。 这项研究已经足够厉害，没必要把几种不同的实验拼成一个神迹。😂

曝光 312 · 评论 2 · 点赞 0 · 书签 0