麻省理工学院计算机科学与人工智能实验室的研究人员最近提出了一个新术语：Weight-Space Programming，中文叫权重空间编程。 这个名字乍一看… · @xulijian1994 · TwKit

@xulijian1994

麻省理工学院计算机科学与人工智能实验室的研究人员最近提出了一个新术语：Weight-Space Programming，中文叫权重空间编程。 这个名字乍一看有点抽象，其实拆开就很好理解。 Weight（权重），就是神经网络内部的参数。一个 8 亿参数的模型，大约有 8 亿个通过训练得到的数值，这些参数共同决定了模型如何处理输入和生成输出。 Space（空间），指的是这些参数共同构成的高维数学空间。可以把整个模型的权重想象成这个空间里的一个点，修改参数，就相当于让这个点移动到了另一个位置。 Programming（编程），是这个概念最关键的地方。 传统微调也是修改权重，但需要准备训练数据，通过反向传播和梯度下降，让优化器计算应该怎么调整参数。 而权重空间编程的思路，是让一个更强的 AI 根据自然语言描述的目标，直接分析另一个神经网络的权重，推断部分内部机制，再有针对性地修改参数，不依赖传统的梯度训练。 比如你告诉 AI，这个模型经常在数学推理时陷入死循环，想办法修复它。 AI 就可以借助 Python 等工具分析模型结构、权重和运行表现，找到可能导致循环的内部机制，再直接修改相关参数，并通过测试验证效果。 这次研究就让 GPT-6 Astra 修改了 Qwen3.5-0.8B 中 0.016% 的权重，把 MATH-500 准确率从 7.9% 提升到了 48.1%。它主要修复的是重复输出问题，让模型原本具备的解题能力能够正常发挥。 而且，这项研究不只是修改已有模型的权重，还尝试让 AI 从零编写小型神经网络的权重，直接构造出能够完成特定任务的模型。 所以这个概念真正新颖的地方，不是神经网络的权重终于可以修改了，而是修改甚至编写权重这件事，开始可以由大模型通过推理来完成。 以前我们主要依赖优化算法训练神经网络，现在研究人员开始尝试用自然语言指挥 AI，直接在另一个神经网络的参数空间里编程。 如果这种方式能够扩展到更大的模型，以后修复模型缺陷、调整特定行为，可能会多出一条不需要重新微调的技术路线。 模型的权重依然很难被完整理解，但已经不再是完全无法下手的一堆数字了。 https://rikiyat.github.io/blog/weight-space-programming/

曝光 285 · 评论 3 · 点赞 1 · 书签 0