这项研究本身确实很惊艳，但互联网的传播方式，硬是把一个很有价值的研究成果讲成了玄学。 先说最关键的一点。 Qwen3.5-0.8B 原本有 93% 的数学回… · @noahatwhere · TwKit

@noahatwhere

这项研究本身确实很惊艳，但互联网的传播方式，硬是把一个很有价值的研究成果讲成了玄学。 先说最关键的一点。 Qwen3.5-0.8B 原本有 93% 的数学回答会陷入思考死循环，直到耗尽 32768 Token。 Astra 修改了 0.016% 的权重，让这个比例降低到 33%，数学成绩随之从 7.9% 提升到 48.1%。 这更像是修复了一个阻止模型正常发挥的缺陷，而不是凭空往一个 0.8B 模型里注入了六倍的数学知识。 研究人员还专门测试了另一个没有严重死循环问题的 Gemma 3 270M，结果 Astra 几乎没能提升它的数学能力。 另外，所谓「不喂题、不花算力」也很离谱。 Astra 可以使用数学训练集里的练习题，最多进行 50 次前向测试，并通过 Python 检查和修改权重。 没有梯度下降，不代表没有计算，更不代表它真的扫一眼参数就能找到病根。 但我觉得这项工作最令人兴奋的地方，反而被这些夸张的叙事掩盖了。 过去我们主要依赖梯度下降来优化神经网络。而现在，一个通用大模型已经开始能够分析另一个模型的内部机制，找到导致特定行为的参数方向，并直接进行干预。 如果这种能力可以扩展到更大的模型、更复杂的行为，未来模型调试和可解释性研究的工作方式可能会发生很大变化。 这已经足够值得兴奋了，根本不需要再编一个「以后不用训练模型了」的故事。 能修复一个模型已有的能力，和能凭空创造这个模型没有的能力，中间还隔着整个机器学习。

曝光 38 · 评论 0 · 点赞 1 · 书签 0