OpenAI 战略未来团队的 Dean Ball 公开宣称中国大模型紧咬美国 50% 靠蒸馏,核心佐证却只是一张推特截图,挑出 DeepSeek 和 GPT… · @jiangkoumo_ · TwKit
@jiangkoumo_
OpenAI 战略未来团队的 Dean Ball 公开宣称中国大模型紧咬美国 50% 靠蒸馏,核心佐证却只是一张推特截图,挑出 DeepSeek 和 GPT-6 Astra 思维链里都在省略 to、连写单词数字 把省略介词和数字连写当抄袭依据,忽视了强化学习的基本机制。推理模型只要加上长度惩罚和紧凑奖励,为了压低思考 token 消耗,思维链自然会演化成这种短电报体,这是强化学习奖励收敛的普遍现象。至于诱导提问炸出一句 I'm ChatGPT,早就是公开抓取数据混合合成语料的经典预训练污染,卡卡也发推直言单凭一张图下结论太草率 蒸馏顶多学到表层的输出概率分布。MLA 砍掉的 KV cache 显存占用、DeepSeekMoE 的细粒度专家路由、DualPipe 的双向并行重叠,还有不依赖人类数据的 GRPO 纯强化学习,哪一个能靠调 API 抄出来?这些底层的训练框架与通信优化,全是真金白银在卡上试出来的 身位被逼近时把别人的工程实现一概归结为偷思维链,无非是闭源大厂的叙事防守。但如果连强化学习压 token 的思维压缩都能当成蒸馏铁证,以后训练推理模型,是不是为了避嫌还得在思维链里故意多写废话?
曝光 176 · 评论 6 · 点赞 4 · 书签 0
查看原帖