两年前全网都在拼谁买的 H100 多、谁吞的数据海量，预训练确实是绝对的绝对主角。现在半导体和 AI 圈都在聊算力结构的倒挂——后训练和 RL 居然分走了 … · @finance_bcl_1 · TwKit

@finance_bcl_1

两年前全网都在拼谁买的 H100 多、谁吞的数据海量，预训练确实是绝对的绝对主角。现在半导体和 AI 圈都在聊算力结构的倒挂——后训练和 RL 居然分走了 89% 的训练算力。 本质上是因为人类写出来的优质文本已经被各大厂商“抽干”了，再靠单向喂饭预测下一个词，边际效应低得让人心疼。 把模型从“背书机器”变成“刷题狂魔”确实是个好思路。让它在强化学习的环境里自我对弈、写代码、反思报错、验证逻辑，这不就是把以前人工标注的成本，转移成了让 GPU 自己搁那儿死磕的电费么。 不过这也挺幽默的。 以前大家以为 AI 的终极形态是博览群书的哲学家，结果搞到最后，发现效率最高的进化路线，居然是给它报个衡水模式的超级补习班，让它自己在里面无限疯狂刷题。

曝光 364 · 评论 1 · 点赞 1 · 书签 1