TwKit
正在载入
TwKit

最近那篇 MIT 的 Weight-Space Programming 很火,大模型直接读写神经网络权重。不用梯度下降,Qwen3.5-0.8B 的 MAT… · @ScarletKc · TwKit

@ScarletKc

最近那篇 MIT 的 Weight-Space Programming 很火,大模型直接读写神经网络权重。不用梯度下降,Qwen3.5-0.8B 的 MATH-500 从 7.9% 被改到了 48.1%,确实很惊艳。 看完我也很想拿 Claude 复现一下,不过先去翻了 Anthropic 的条款,发现这里有个坑,提醒一下想试的朋友。 Anthropic 的帮助中心写得很清楚:没有他们的书面许可,不能用 Claude 训练或开发 AI 模型。和他们不构成竞争的专用小模型是例外,而“开放式文本生成的模型”明确在禁止范围里。让 Claude 直接改 LLM 的权重去提升能力,某种意义上比蒸馏还直接,Claude 输出的东西本身就成了新模型的权重。按字面理解,这就是需要许可的那一类,就算只是 0.8B 的小模型、只是个人实验,条款里也没有给豁免。 只让它读权重、做可解释性分析,或者给打小游戏的小网络写权重,问题应该不大。但如果想用 Claude 去改 Qwen 这类语言模型,尤其是打算把改完的模型发到 Hugging Face 或者公开展示,我建议先别急,账号要紧。

曝光 353 · 评论 2 · 点赞 1 · 书签 0

查看原帖