比“AI写代码”更值得关注的一步：AI开始直接给另一个模型改权重、修故障。 Rikiya Takehi等MIT CSAIL研究者把这叫作Weight-Spa… · @bitbiz_bruce · TwKit

@bitbiz_bruce

比“AI写代码”更值得关注的一步：AI开始直接给另一个模型改权重、修故障。 Rikiya Takehi等MIT CSAIL研究者把这叫作Weight-Space Programming（权重空间编程）。这条线程的核心，是让GPT-6 Astra把神经网络参数当成可以分析、编辑的对象，而不只是替人写训练脚本。 几个实验很直观： • 读权重：四个游戏策略网络架构、输入和动作完全相同，Astra只看原始权重，就识别出各自对应的游戏，没给候选答案，也没用工具。 • 修策略：一个PPO小车总在斜坡前卡住。给它权重、场景和一次失败轨迹，Astra单次修改3.5%的权重，在作者测试的1024回合中全部成功。 • 从零写：根据游戏规则和代码，直接生成Breakout网络权重，无训练、无工具，得分约为训练5亿步PPO基线的20倍。这个倍数对应特定游戏，不是所有任务。 • 修语言模型：在50次前向调用预算下，Astra定位Qwen3.5-0.8B的重复推理问题，只改131072个权重，约占0.016%。作者报告，同样采样设置下，MATH-500从7.9%升至48.1%，GSM8K从13.8%升至67.1%，IFEval从21.0%升至62.3%。 “没有训练”不等于没有反馈：Qwen实验允许在练习题上运行模型，只是不允许梯度和训练循环。主要收益是打断推理死循环，让已有能力能输出答案；换成很少循环的Gemma 3 270M，并未得到明确的数学提升。 这项工作的价值，不是宣布训练已经过时，而是展示了另一种改模型的办法：先判断哪里出了问题，再直接改那部分参数。 如果这条路能扩展，AI优化的对象就不再局限于Prompt、代码和Agent流程，还包括模型本身。研究者正在做相应基准和工具框架；目前是作者报告的早期实验，不是普适能力的证明。

曝光 46 · 评论 1 · 点赞 1 · 书签 0