MIT实验：模型直接修改小模型权重并提升能力 · 话题榜 · TwKit

@ohayou792

麻省理工今天发了一篇挺颠覆常识的研究。 他们把千问那个只有0.8B /的轻量小模型丢给GPT-6Astra，不准重新训练，也不准喂题，任务就是就让它把小模型的数学能力提上去。 Astra 直接打开小模型底层的数字表格扫了一眼，当场找出了里面导致脑子卡壳死循环的病根。 它顺手改了里面万分之一点六的数字。 一行训练代码没写，一分钱算力没花，这个小模型的数学成绩直接从不到八分飙到了四十八分，连带听懂人话的能力也翻了三倍。 研究人员还让它从零手写一套打游戏的模型参数，完全不给试玩机会，它凭空填出来的数字，直接把靠传统方法苦练了一亿步的模型按在地上揍。 搞半天 AI 脑子里那堆密密麻麻的数字只有人类自己看不懂。 顶级大模型看小模型的底层参数，跟老程序员看新手写的烂代码没什么区别，哪里有 Bug 直接上手改几个数就完事了。 照这个趋势下去，以后调教小模模型直接让大模型上手改底稿就行，天天租高价显卡熬夜调参的团队得省下多少算力费？

@NFT_Chen

🤯逆天了！Qwen 3.8 27B注意力层被彻底击穿了！10M超长上下文下，Prefill注意力快72.4倍、Decode快42.5倍！端到端首token延迟砍到约1/9！ 闲置GPU的朋友注意了：把这个新方法丢给Claude/Codex，让它直接移植到Qwen 27B上！注意力算法“移植”已经被验证可行。 惊人之处： 🔹10M token（约1000万）超长上下文下，传统稀疏注意力有98%时间都在“找该看哪些token”，真正算注意力反而没那么贵 🔹新方法Latent Sparse Attention (LSA)：先把Key按“意思相近”聚类成层级结构，Query只看聚类中心，再挑最相关的几个桶去算。从“全扫”变成“树搜索” 🔹实测（Qwen-3.8-27B）：单层注意力Prefill快72.4倍，Decode快42.5倍！端到端首token延迟也能降到约1/9 🔹精度几乎不掉，甚至在RULER等长上下文任务上还略好一点 🔹只需要短蒸馏训练Indexer（基座模型冻结），就能套到现成模型上。Native训练版本也能跟上全注意力精度，还更快 🔹对GPU紧缺党意义巨大：超长上下文（百万级）不再需要堆满H100/H200才能跑，单卡/少量卡也能玩得起真正长上下文Agent 适配步骤： 1️⃣git clone 仓库后用 uv sync 安装（Python 3.12） 2️⃣官方已放出Qwen3.8-27B的蒸馏权重（d-lsa-weights-v1 release），直接下载即可 3️⃣用他们的SGLang fork镜像启动服务，挂载仓库+权重 4️⃣启动时加 --json-model-override-args '{"lsa": {"projections": "/maps/qwen38_27b.pt", "query_heads": "all"}}'（记得加 --disable-prefill-cuda-graph） 5️⃣想自己训练的话，跑 lsa distill targets → lsa distill train → export 即可（基座冻结，只训Indexer） 代码已开源，论文也在，谁有空闲卡先冲一波？ 
论文：https://arxiv.org/abs/2610.42147 
GitHub：https://github.com/Prefrontal-AI/latent-sparse-attention #Qwen #LSA #LongContext #AI #GPU #LocalLLM #注意力优化 #Qwen38 #阿里巴巴

@dotey

不训练、不算梯度，GPT-6 Astra 直接改了另一个模型的权重：只动了 Qwen3.5-0.8B 0.016% 的权重，MATH-500 数学正确率从 7.9% 涨到 48.1%，约 6 倍。 这是 MIT CSAIL 四位研究者 11 月 2 日发的博客，他们把这叫“在权重空间里编程”：前沿大模型可以像读写代码一样，直接读懂、修改、甚至从零写出神经网络的权重。 过去的常识是，权重是训练出来的，人看不懂也没法手改，想改模型只能再训练。这项工作把原始权重直接交给通用大模型，让它自己读、自己改。 几个实验： 只看权重，不给游戏名、不给工具，Astra 认出了四个结构完全相同的游戏网络：打砖块、乒乓、吃豆人、过马路。 一辆训练了 10 亿步、256 次全失败的仿真小车，Astra 看了权重和一次失败录像，一次回复改了 3.5% 的权重，之后 1,024 次全部成功。 从零写打砖块网络，没有数据、不能试玩，一次写成，得分 517.4，是训练 5 亿步的强化学习网络（25.3）的约 20 倍。另外两个游戏没超过训练 5 亿步的版本。 Qwen 的 6 倍有几个条件： 原模型开思考模式后容易陷入重复循环，93% 的回答一直输出到长度上限，起点很低。Astra 找到第 15、19 层里引起循环的一个方向，把它删掉。 这要允许 Astra 拿练习题试跑 50 次。只试 10 次或 25 次，循环基本没消失。 换成很少循环的 Gemma 3 270M，同样的方法没带来提升。作者的结论是：改权重能去掉挡住能力的障碍，加不出模型本来没有的能力。 和“AI 改进 AI”的关系：现在的自我改进，大多是让 AI 生成数据、写训练代码，最后还是靠训练。作者把“模型检查并改进自己或下一代的权重”列为后续方向之一。 Chandan Singh 也公开了类似实验：Claude 在加法、排序等 10 个算法任务上直接写出小模型权重，最多 3 次就全部 100% 正确。他的报告也记录了，有一个任务里 Claude 用测试集数据做了拟合，违反规则，那个结果被判无效。 目前结果都由作者自己报告，还没有独立复现。 原文：https://rikiyat.github.io/blog/weight-space-programming/

@Michaelzsguo

这简直是匪夷所思。 一个 MIT 一年级博士生 Rikiya Takehi，和团队做了一组实验：让 GPT-6 Astra 直接读懂、修改，甚至从零写出另一个神经网络的权重。 他们先从小游戏开始。把四个网络的原始权重交给 Astra，不告诉它游戏名称，也不提供选项，它竟然全部认了出来：打砖块、Pong、吃豆人和 Freeway。这四个网络的结构、输入和可选动作都一样，区别藏在权重里。 接着是修复行为。一个经过强化学习训练的小车网络，只会往坡上冲，始终卡住。Astra 看了权重、场景描述和一次失败记录，在不能调用工具的情况下，一次回复就写出了补丁。只改动 3.5% 的权重，小车就学会了先倒车，再加速冲坡，在 1,024 次测试中全部成功。 他们还让 Astra 从零写权重。给它打砖块的规则、源码和网络结构，不允许训练，也不允许试玩。它直接把“预判球的落点，再移动挡板”的策略写进网络，最终得分超过训练了 5 亿步的 PPO 网络约 20 倍。 然后，他们把同一个问题推到了语言模型上：能不能直接修改 Qwen3.5-0.8B 的权重，让它更擅长数学？ Astra 在检查权重和观察答题表现后，发现这个小模型经常陷入推理循环。它把问题定位到两层 MLP 中的一个方向，只修改了 0.016% 的权重，没有梯度下降，也没有重新训练。 在最多 50 次前向调用的预算内，修改后的模型在相同采样设置下，MATH-500 得分从 7.9% 升到 48.1%，GSM8K 从 13.8% 升到 67.1%。连指令遵循测试 IFEval，也从 21.0% 升到 62.3%。 他们把这个方法叫作 Weight-Space Programming，权重空间编程：让大模型根据任务，直接检查和改写神经网络里的数字。

@iamai_omni

真是离谱给他妈开门，GPT-6 Astra 可以通过直接修改模型权重文件，将性能提升了 6 倍，人类对 AI 的理解基本为零，所有那些关于如何训练模型的论文都可以扔掉了。

@dongxi_nlp

Weight-Space Programming 再次证明了： 这两年最有趣paper是 persona vectors，建议大家人工读上5遍。 所有的 Weight-Space Programming， emergent misalignment 换汤不换药。

@bboczeng

麻省理工学院（MIT）展示AI模型直接编辑神经网络权重的能力 MIT计算机科学与人工智能实验室（CSAIL）的Rikiya Takehi及其同事展示了一项突破性技术：GPT-6 Astra能够将神经网络的权重作为文本读取，并对其进行精确修改，整个过程无需训练，也无需梯度计算。这种方法被称为“权重空间编程”（Weight-Space Programming）。 在一项测试中，Astra仅修改了Qwen3.5-0.8B模型8亿个参数中的0.016%，便取得了显著的性能提升： 1. MATH-500数学测试：准确率从7.9%提升至48.1%。 2. GSM8K数学推理测试：准确率从13.8%提升至67.1%。 3. 指令遵循能力：评分提高至原来的3倍。 更令人惊讶的是，Astra甚至能够仅通过分析神经网络权重，识别出《Breakout》（打砖块）等游戏的决策策略，并从零开始构建高性能神经网络。 这一成果表明，先进AI模型可能很快就能直接优化其他AI模型，而不再依赖传统的训练过程。 包括Ethan Mollick在内的专家认为，这是一项意义重大的突破。不过，相关结果仍有待更广泛的独立复现，业界也已开始讨论这项技术可能催生的新工具及其潜在风险。

@__soragoto__

来一起看看今天 hacknews 头条出现了什么玩意吧…… 什么叫 LLM 能改其他 LLM 的权重并且表现出正向结果？？什么又叫不用梯度下降，甚至不做前向传播测试能硬写出来 150 万参数的模型？？ 我的天呐 Astra 大人，我瘫坐在原子弹上仿佛看到椅子爆炸 https://rikiyat.github.io/blog/weight-space-programming/

@NFT_Chen

🤯天呐！GPT-6 Astra 居然直接“手改” 开源权重，Qwen3.5-0.8B小模型数学能力提升近6倍！无训练、无梯度！ MIT CSAIL 团队让 GPT-6 Astra 直接读取并编辑 Qwen3.5-0.8B 的权重（不是微调！），仅改动 0.016% 的参数，就解决了官方模型卡都警告的推理死循环问题，数学能力最高提升约 6倍，指令跟随也涨了约 3倍！ 这就是他们提出的 Weight-Space Programming（权重空间编程）：前沿大模型已经能原生读写神经网络权重了！ 核心亮点 🔹只改了 0.016% 权重（约13万个参数），无梯度、无训练 🔹修复 Qwen 官方已知的推理循环问题 🔹MATH-500：7.9% → 48.1% 🔹GSM8K：13.8% → 67.1% 🔹IFEval（指令跟随）：21% → 62.3% 使用步骤： 1️⃣加载 Qwen3.5-0.8B 权重，给 Astra 提供 Python 沙箱 + 有限次数前向传播（最多50次） 2️⃣直接告诉 Astra：「让这个模型数学更好」 3️⃣Astra 自己诊断出第15、19层 MLP 的循环方向 4️⃣输出精确权重补丁（只改少量列） 5️⃣应用补丁后直接评测，无需重新训练 完整实验日志、提示词、权重差异和复现脚本 
👉 博客详解：https://rikiyat.github.io/blog/weight-space-programming/
👉 GitHub日志：https://github.com/RikiyaT/lm_understand-logs 这可能是模型优化的新范式，用大模型直接“编程”小模型的权重。 你觉得未来会普及吗？！ #GPT6 #Astra #Qwen #WeightSpaceProgramming #LLM #AI突破 #模型优化 #开源AI #MIT #大模型 #人工智能

@bigeagle_xd

能预见到一系列 Weight-Space Programming (WSP) 的灌水出来了 SelfWSP: 把golden answer 放hint里，让模型改自己的 weight WSP-OPD: 大模型蒸小模型，但是通过WSP的方式 WSPO: GRPO+WSP asyncWSP: 异步更新weight （大家继续

@oran_ge

RSI 初现端倪 连模型训练都不需要了。。 直接用大模型直接修改小模型的权重 让其数学能力提升六倍