Anthropic反蒸馏措施与国产模型进展

AI科技 · 14 篇公开推文 · 13 位作者 · 曝光 609917 · 评论 508 · 点赞 2439 · 书签 894

Anthropic加强反蒸馏后，讨论者猜测其措施可能导致国产模型发布放缓、账号封禁增多，并追问蒸馏技术是否已遇到瓶颈。

创作角度

说明Anthropic反蒸馏措施的具体逻辑与封号触发因素
讨论模型厂商如何识别蒸馏及其成本
分析这会怎样影响国产开源模型的迭代与竞争

相关公开推文

@tuolaji2024

在 OpenAI 和 anthropic 加强防御蒸馏以后，开源模型一败涂地，就连美国豆包 gemini 4 都挺好用的了。

曝光 137760 · 评论 68 · 点赞 549 · 书签 100

查看原帖

@xluchuan

想不通啊怎么 anthropic 大举反蒸馏以后国产大模型怎么变得静悄悄啊

曝光 126644 · 评论 82 · 点赞 377 · 书签 30

查看原帖

@MaxForAI

如果不是被起诉，我们永远都不会知道，Anthropic在2021年就已经完美地预言了现在的AI发展。我刚看完这份 @AnthropicAI 在诉讼中曝光的内部文件，叫《Concise Research Roadmap》，最后更新于2021年7月。这份文件由Anthropic联创Jared Kaplan撰写，里面还保留了 @DarioAmodei 、 @NotTomBrown 、 @AmandaAskell 、 @ch402 等一批核心研究人员的内部评论。文件上甚至还标着「Highly Confidential–Attorneys' Eyes Only」（高度机密，仅限律师查阅）。我仔细看完之后，真的有点感慨。因为今天我们讨论的Coding Agent、Tool Use、长上下文、RL、自动化反馈，甚至Agent的安全问题，在这份五年前的研究路线图里，基本都已经出现了。而且远不只是一些模糊的概念。首先，Anthropic在2021年就已经明确提出，要做一个具备软件工程师能力的AI助手。在文件第一页，他们就写道，希望开发一个通用AI助手，可以通过对话帮助用户创建、编辑和解释软件。包括开发浏览器插件、编写函数、发现Bug、设计API、讨论代码风格和最佳实践等等。最终目标是让AI展现出一名软件工程师同事所具备的能力。你会发现，这不就是今天Claude Code正在做的事情吗？更有意思的是，他们当时就认为，要实现这个目标，需要大规模生成模型、长期记忆，以及通过自动化奖励和人类反馈进行强化学习。甚至连Roadmap都已经想得非常清楚了。第二，他们当时就专门把RL for Tool Use列成了一项重要研究方向。研究的核心是让大语言模型学会使用工具，理解环境和目标，并通过强化学习不断改进。当时他们提出的具体任务包括搜索、printf调试等，还准备研究工具使用能不能让模型获得比监督学习更好的Scaling效果。今天Agent领域讨论的一大堆问题，五年前他们就已经开始思考了。第三，最让我意外的是，他们当年甚至就在讨论Coding Agent的产品形态。 Tom Brown提出，代码仓库浏览是一个简单而有价值的工具，可以从这里开始。 Nelson Elhage则表示，如果AI能够主动查找项目中的类型定义，会是一项很强的能力。 Andy Jones进一步提出了两条不同的路线。一条是打造最优秀的AI程序员，另一条是先验证AI使用工具的能力。 Dario Amodei的回答是：短期优先后者，长期优先前者。而且同一份文件里，Sam McCandlish就已经开始担心，如何安全地部署非沙箱化工具。 Dario特别强调了部署阶段执行代码的工具。你再看看今天围绕Coding Agent的Sand box、权限控制和代码执行安全的一系列讨论。真的很难不感慨。第四，他们很早就意识到，模型能力和Alignment不能脱节。 Amanda Askell在评论里担心，如果能力研究集中在代码领域，而对齐研究只关注自然语言，那么未来可能会出现模型能力越来越强，但对齐研究无法充分覆盖这些能力的情况。所以她强调，两者应该紧密结合。这其实也是今天Agent安全研究面临的重要问题。我觉得这份文件最有意思的地方，是它让我们重新认识了Anthropic这家公司。 2021年的时候，ChatGPT甚至都还没有发布，整个行业对大语言模型未来能做什么，都还没有今天这么明确的认识。但Anthropic的这群研究人员，已经把软件工程助手作为通向AGI的一个具体研究目标，并且围绕模型规模、数据、长上下文、工具使用、强化学习和安全，制定了一套相当完整的研究路线。至少从今天回头看，他们对技术发展方向的判断，确实非常超前。而且更值得注意的是，这份文件讨论的很多问题，直到2026年都还没有被彻底解决。五年前他们在思考如何让AI成为软件工程师的同事。五年后，我们已经开始讨论，如何让AI独立完成整个软件工程任务，甚至参与改进自己的模型和研发系统（AKA：RSI）。有时候AI的发展看起来快得不可思议，但仔细回头看，你会发现，有些人其实很早就已经知道自己要往哪里走了。

曝光 52133 · 评论 30 · 点赞 645 · 书签 498

查看原帖

@xluchuan

不懂就问为什么没人蒸馏 GPT 呢

曝光 48334 · 评论 58 · 点赞 41 · 书签 4

查看原帖

@uncle_moon_x

这个Anthropic披露的文件是真的吗？ 2021年7月 - 讨论1T模型的训练和RL - 讨论硬件的风险，TPU，Trainium - 讨论language，code，diffs，PRs，等数据集的构造 - 讨论各种各样的coding工具 - 讨论各种scaling law，reward model，test time compute，long context，memory - 讨论RL for tool use？？？每一个单词现在看完全不吃惊，但在当时2021，同时出现在一个文档，让我再次惊叹，人的认知差距可以跨这么多年吗 https://i.smitop.com/concise-research-roadmap.pdf

曝光 45029 · 评论 17 · 点赞 240 · 书签 159

查看原帖

@ChuckBass14291

奥特曼对“蒸馏抄袭”的坦白局：不是防不住，是防盗成本高到不可承受。当被问及国内模型靠白嫖/蒸馏 OpenAI 弯道超车时，奥特曼的无奈非常诚实：想让别人没法提取特征，就必须限制 API 接口的开放性与发散能力。 AI 圈最大的两个尴尬真相： 1 为什么眼睁睁看着中国团队“蒸馏”模型抄作业不管？用几分之一的成本做出性价比极高的平替模型答：技术上当然能防，但如果要给模型加防盗锁，就得阉割掉发散创造力。把体验搞稀烂来防抄袭，等于为了防小偷直接把自家房子给炸了。 2 7500 亿算力支出要暴雷？答：华尔街热钱依然在排队进场，最大的瓶颈根本不是“没钱”，而是“没硅片”。媒体都在操心数千亿美元投资的信贷违约风险，奥特曼却表示：金融市场从来不差钱，想要投资随时有。真正疯狂推高单价的是物理规律——晶圆供应链极度紧张。软件算法在云端跑得再快，最终还是得被物理世界的纳米蚀刻机和硅片产能狠狠上一课。另一边英伟达的黄仁勋，正看着被买爆的晶圆，数钱数到手抽筋。

曝光 41828 · 评论 35 · 点赞 61 · 书签 25

查看原帖

@laopai1990

突然有点期待 DeepSeek 下一次更新了。 Anthropic 从年初开始公开点名 DeepSeek 等国产厂商涉嫌违规蒸馏，现在又宣布，新的反蒸馏防护效果提升到了 90%～99%。如果 DeepSeek 下一代模型依然能打出漂亮成绩，那这场争论才真正有意思，你觉得呢？🤔

曝光 39859 · 评论 40 · 点赞 205 · 书签 9

查看原帖

@TJwithAI

是因为蒸馏越来越难了吗，开源模型开始越来越落后了😂😂

曝光 35160 · 评论 12 · 点赞 31 · 书签 2

查看原帖

@niaoshu

现在Claude新号，一开通就需要KYC，不是IP的问题，不要不断换IP，没用的，现在就是这样，用中国护照KYC吧，没辙，我的活大半个月了，没事！