Karpathy 没说错，大模型强化学习练到深水区，第一个丢掉的可能就是人类语言。 OpenAI 报告里公开的 CoT 已经快看不出英文样了，单词粘连、省掉… · @LanzhiAI · TwKit

@LanzhiAI

Karpathy 没说错，大模型强化学习练到深水区，第一个丢掉的可能就是人类语言。 OpenAI 报告里公开的 CoT 已经快看不出英文样了，单词粘连、省掉语法，夹着一堆变量缩写，官方甚至得专门配个翻译版。 以前不少团队指着抓顶尖模型的思维链做蒸馏、抄作业弯道超车，以后这条路怕是越来越难走。 模型自己跑出了一套效率最高的内部暗号，学生连老师的解题草稿都看不懂，硬喂下去大概率消化不良。靠蒸馏走捷径的窗口，真没剩下多久了。 #OpenAI #大模型 https://x.com/MaxForAI/status/2112786972708409538

曝光 12 · 评论 0 · 点赞 0 · 书签 0