反蒸馏措施与开源模型竞争
AI科技 · 23 篇公开推文 · 20 位作者 · 曝光 1370664 · 评论 1030 · 点赞 6512 · 书签 3633
Anthropic加强反蒸馏防护后，推文讨论开源模型是否受到影响、国产模型为何更新变少，以及模型蒸馏的含义和行业竞争后果。
创作角度
- 梳理反蒸馏措施如何改变模型训练和开放权重生态
- 比较国产模型近期更新与海外闭源模型的竞争态势
- 解释蒸馏和直接复制之间的差异
- 观察蒸馏争议对模型评测、API供给和开发者选择的影响
相关公开推文
本人郑重向谷歌旗下模型 Gemini 道歉。 因为本人没有眼光，曾在多个社交媒体嘲笑 Gemini 模型是“美国豆包”“硅谷人工智障”“香蕉批发商”“谷歌御用道歉机器人”“一言不合就画图的赛博美术生”“全球最先进的加载动画”，累计多达 1200 余次。 Gemini 4 用完我才发现， 是我错怪了豆包。
曝光 270598 · 评论 117 · 点赞 1575 · 书签 94
查看原帖在 OpenAI 和 anthropic 加强防御蒸馏以后，开源模型一败涂地，就连美国豆包 gemini 4 都挺好用的了。
曝光 158422 · 评论 72 · 点赞 606 · 书签 114
查看原帖卧槽，我今天才知道！ 原来想要一个“无限制版”大模型，根本不用到处找魔改模型重新下载！ 以前总以为非得重刷几十G权重才能解除封印，结果今天实测发现：Qwen3.8-Flash-Next 模型啥重活都不用干，只要在现有模型上改一个简单的启动参数，就能直接拥有一个满血的无限制大模型。 很多朋友可能会好奇：改完这个参数，彻底放开限制的模型到底能干什么？ 这么说吧，平时你在云端大模型上撞墙的所有禁区，它全盘接管： 从拆解软件逆向、干坏事成人图文+视频，名人真脸，到深聊敏感争议话题、本机闭环处理私密代码等等。 平时云端模型撞墙的所有禁区它全盘接管，全程不绕弯、不打太极，边界全由你自己定。 怎么做到连模型都不换就直接解锁的？ 其实秘密就在推理引擎里。 我在双卡 V100 上跑 Qwen3.8-Flash-Next（用的是 Strata v0.1.43 引擎），引擎底层早就内置了“控制向量投影（Control VectorProjection）”功能。 原版模型权重一动不动，也不用挂 LoRA，只需要在启动配置里追加这 4 行参数： "--control-vector-scaled", "Qwen3.8-Flash-Next-cvec.gguf:1.0" "--control-vector-layer-range", "4", "44" "--cvec-mode", "project" "--cvec-dir", "per-layer" 重启服务 55 秒，引擎就会在推理时对第 4 到 44层自动抽掉“拒绝方向向量”。 而且特别爽的是，它还支持按次动态开关——平时默认就是无限制模式；哪次接口需要切回原版安全策略，请求里传个 false就能当次切回，连服务都不用重启。 话不多说，大家直接点开下面这张终端实测图感受一下，看看当一个 256K 满血大模型彻底卸下道德说教后，一口气列完 8大禁区能力，最后冷冷甩出一句“要哪个，直接说”，在感官上有多震撼！
曝光 113426 · 评论 25 · 点赞 1193 · 书签 2216
查看原帖如果不是被起诉，我们永远都不会知道，Anthropic在2021年就已经完美地预言了现在的AI发展。 我刚看完这份 @AnthropicAI 在诉讼中曝光的内部文件，叫《Concise Research Roadmap》，最后更新于2021年7月。 这份文件由Anthropic联创Jared Kaplan撰写，里面还保留了 @DarioAmodei 、 @NotTomBrown 、 @AmandaAskell 、 @ch402 等一批核心研究人员的内部评论。 文件上甚至还标着「Highly Confidential–Attorneys' Eyes Only」（高度机密，仅限律师查阅）。 我仔细看完之后，真的有点感慨。 因为今天我们讨论的Coding Agent、Tool Use、长上下文、RL、自动化反馈，甚至Agent的安全问题，在这份五年前的研究路线图里，基本都已经出现了。 而且远不只是一些模糊的概念。 首先，Anthropic在2021年就已经明确提出，要做一个具备软件工程师能力的AI助手。 在文件第一页，他们就写道，希望开发一个通用AI助手，可以通过对话帮助用户创建、编辑和解释软件。 包括开发浏览器插件、编写函数、发现Bug、设计API、讨论代码风格和最佳实践等等。 最终目标是让AI展现出一名软件工程师同事所具备的能力。 你会发现，这不就是今天Claude Code正在做的事情吗？ 更有意思的是，他们当时就认为，要实现这个目标，需要大规模生成模型、长期记忆，以及通过自动化奖励和人类反馈进行强化学习。 甚至连Roadmap都已经想得非常清楚了。 第二，他们当时就专门把RL for Tool Use列成了一项重要研究方向。 研究的核心是让大语言模型学会使用工具，理解环境和目标，并通过强化学习不断改进。 当时他们提出的具体任务包括搜索、printf调试等，还准备研究工具使用能不能让模型获得比监督学习更好的Scaling效果。 今天Agent领域讨论的一大堆问题，五年前他们就已经开始思考了。 第三，最让我意外的是，他们当年甚至就在讨论Coding Agent的产品形态。 Tom Brown提出，代码仓库浏览是一个简单而有价值的工具，可以从这里开始。 Nelson Elhage则表示，如果AI能够主动查找项目中的类型定义，会是一项很强的能力。 Andy Jones进一步提出了两条不同的路线。 一条是打造最优秀的AI程序员，另一条是先验证AI使用工具的能力。 Dario Amodei的回答是：短期优先后者，长期优先前者。 而且同一份文件里，Sam McCandlish就已经开始担心，如何安全地部署非沙箱化工具。 Dario特别强调了部署阶段执行代码的工具。 你再看看今天围绕Coding Agent的Sand box、权限控制和代码执行安全的一系列讨论。 真的很难不感慨。 第四，他们很早就意识到，模型能力和Alignment不能脱节。 Amanda Askell在评论里担心，如果能力研究集中在代码领域，而对齐研究只关注自然语言，那么未来可能会出现模型能力越来越强，但对齐研究无法充分覆盖这些能力的情况。 所以她强调，两者应该紧密结合。 这其实也是今天Agent安全研究面临的重要问题。 我觉得这份文件最有意思的地方，是它让我们重新认识了Anthropic这家公司。 2021年的时候，ChatGPT甚至都还没有发布，整个行业对大语言模型未来能做什么，都还没有今天这么明确的认识。 但Anthropic的这群研究人员，已经把软件工程助手作为通向AGI的一个具体研究目标，并且围绕模型规模、数据、长上下文、工具使用、强化学习和安全，制定了一套相当完整的研究路线。 至少从今天回头看，他们对技术发展方向的判断，确实非常超前。 而且更值得注意的是，这份文件讨论的很多问题，直到2026年都还没有被彻底解决。 五年前他们在思考如何让AI成为软件工程师的同事。 五年后，我们已经开始讨论，如何让AI独立完成整个软件工程任务，甚至参与改进自己的模型和研发系统（AKA：RSI）。 有时候AI的发展看起来快得不可思议，但仔细回头看，你会发现，有些人其实很早就已经知道自己要往哪里走了。
曝光 75508 · 评论 33 · 点赞 952 · 书签 731
查看原帖这个Anthropic披露的文件是真的吗？ 2021年7月 - 讨论1T模型的训练和RL - 讨论硬件的风险，TPU，Trainium - 讨论language，code，diffs，PRs，等数据集的构造 - 讨论各种各样的coding工具 - 讨论各种scaling law，reward model，test time compute，long context，memory - 讨论RL for tool use？？？ 每一个单词现在看完全不吃惊，但在当时2021，同时出现在一个文档，让我再次惊叹，人的认知差距可以跨这么多年吗 https://i.smitop.com/concise-research-roadmap.pdf
曝光 66380 · 评论 21 · 点赞 302 · 书签 213
查看原帖突然有点期待 DeepSeek 下一次更新了。 Anthropic 从年初开始公开点名 DeepSeek 等国产厂商涉嫌违规蒸馏， 现在又宣布，新的反蒸馏防护效果提升到了 90%～99%。 如果 DeepSeek 下一代模型依然能打出漂亮成绩，那这场争论才真正有意思， 你觉得呢？🤔
曝光 56378 · 评论 47 · 点赞 311 · 书签 11
查看原帖奥特曼对“蒸馏抄袭”的坦白局：不是防不住，是防盗成本高到不可承受。 当被问及国内模型靠白嫖/蒸馏 OpenAI 弯道超车时，奥特曼的无奈非常诚实：想让别人没法提取特征，就必须限制 API 接口的开放性与发散能力。 AI 圈最大的两个尴尬真相： 1 为什么眼睁睁看着中国团队“蒸馏”模型抄作业不管？用几分之一的成本做出性价比极高的平替模型 答：技术上当然能防，但如果要给模型加防盗锁，就得阉割掉发散创造力。把体验搞稀烂来防抄袭，等于为了防小偷直接把自家房子给炸了。 2 7500 亿算力支出要暴雷？ 答：华尔街热钱依然在排队进场，最大的瓶颈根本不是“没钱”，而是“没硅片”。 媒体都在操心数千亿美元投资的信贷违约风险，奥特曼却表示：金融市场从来不差钱，想要投资随时有。真正疯狂推高单价的是物理规律——晶圆供应链极度紧张。 软件算法在云端跑得再快，最终还是得被物理世界的纳米蚀刻机和硅片产能狠狠上一课。 另一边英伟达的黄仁勋，正看着被买爆的晶圆，数钱数到手抽筋。
曝光 43418 · 评论 35 · 点赞 62 · 书签 25
查看原帖💥开源要炸了！Meta官宣开源Muse Spark 1.3，中国模型将丧失开源第一宝座！ Artificial Analysis最新榜单实锤： Muse Spark 1.3 (max) 48分，直接干过 MiMo-V2.6 Pro、Qwen 3.8 Max、GLM-5.3 的45分。 一旦权重开放，这将是目前最强开源模型。美国开源势力强势回归，智谱GLM、Kimi等中国开源模型压力再次加大，开源第一宝座要易主了。 你们觉得这次Meta能彻底翻盘吗？ #MuseSpark #MetaAI #GLM53 #开源模型 #AI竞争 #ArtificialAnalysis #MiMoV26 #Qwen38
曝光 35982 · 评论 60 · 点赞 201 · 书签 50
查看原帖我才知道，吴恩达博士以前是Anthropic 创始人达里奥的领导，2014年到2015年期间两人一起在百度Ai实验室，吴博士在中国，达里奥在北美工作，吴博士是整个项目的一号位。 所以吴博士应该是它的启蒙导师了，达里奥也应该有百度基因。
曝光 33377 · 评论 25 · 点赞 62 · 书签 9
查看原帖🐳梁文峰这两天又在闷声做事！量化思维无处不在！别忘了现在梁圣手上有的是钱！ DeepSeek几乎没发声，却连续做了三件极其狠的事： 1️⃣默默放出多模态研究员岗位，直接写明“AGI绝不会止步于文本”，把数据+算法全链路一起招。 2️⃣刚投完宇树科技（身体），立刻领投Winverse AI种子轮（大脑），数千万美元、估值约4亿美元，创始人是腾讯前具身模型负责人。 3️⃣V4.1flash 后台静默升级，能力肉眼可见变强，连个公告都懒得发。 不喊口号，不搞发布会，量化出身的人就这么闷头把人才、资本、模型一起往前推。 #梁文峰 #DeepSeek #人工智能 #多模态 #具身智能 #DeepSeekV41Flash #静默优化 #大胖鱼
曝光 30234 · 评论 21 · 点赞 106 · 书签 23
查看原帖我的观点是， 投资人当然应该投田柯宇，比那些在大厂安安稳稳吃实习生和小赛道红利混五年十年的老油子强太多了， 但是投资人不应该投世界模型，世界模型是个大骗局，这个问题我在youtube讲了10次以上， 中国投资人最大的问题，就是总相信小天才小疯子能改变世界，就是他妈不愿意自己看技术， 稍微提升一点技术品味和判断力，对技术品味和赛道的人均判断力约等于一条边牧。
曝光 27691 · 评论 15 · 点赞 90 · 书签 20
查看原帖