典型的不懂瞎评论。 Qwen3.5-0.8B 原本有 93% 的数学回答会陷入推理死循环，直到耗尽 32768 个 Token。 Astra 修改了 0.0… · @noahatwhere · TwKit

@noahatwhere

典型的不懂瞎评论。 Qwen3.5-0.8B 原本有 93% 的数学回答会陷入推理死循环，直到耗尽 32768 个 Token。 Astra 修改了 0.016% 的权重，缓解了这个问题，数学成绩随之大幅提升。 这更接近一次极其精准的模型 Debugging。 模型原本就可能拥有解出部分数学题的能力，只是被某种异常行为阻碍了正常发挥。 研究人员还测试了一个没有严重死循环问题的 Gemma 270M，结果 Astra 基本无法提升它的数学能力。 所以距离「以后不需要训练模型，直接让大模型修改权重就行」还有很长一段路。 真正重要的是另一件事： 我们过去训练神经网络，主要依赖梯度下降在庞大的参数空间中寻找优化方向。 现在，一个通用语言模型开始能够分析神经网络内部的行为机制，并对特定参数进行有目的的干预。 如果这种能力进一步发展，模型的调试、行为控制、安全修复，甚至不同模型之间的能力迁移，都可能出现新的技术路线。 不过，这也带来了一个很有意思的问题。 我们能够修改模型的某种行为，不代表我们真正理解了这种修改对整个系统的影响。 修复一个 Benchmark 的同时，有没有破坏其他能力？局部修改能否在不同数据分布下保持有效？这些问题可能比修改本身更加困难。 我很期待未来能够像 Debug 软件一样 Debug 神经网络。 但软件工程几十年的历史也告诉我们： 能找到一个 Bug、修改几行代码，和证明整个系统因此变得更加可靠，从来都是两回事。

曝光 157 · 评论 0 · 点赞 1 · 书签 0