🫣信息量拉爆！智谱Zai创始人唐杰教授第八讲提前剧透！下一个 GLM 模型训练数据量将冲上 100T！ 从 0.4T 一路干到 28.5T，下一个目标直接定… · @NFT_Chen · TwKit

@NFT_Chen

🫣信息量拉爆！智谱Zai创始人唐杰教授第八讲提前剧透！下一个 GLM 模型训练数据量将冲上 100T！ 从 0.4T 一路干到 28.5T，下一个目标直接定在 100T。这不是参数量，而是他认为全球互联网能洗干净的高质量文本上限，还不算合成数据。 更多披露细节： 1️⃣Token量史诗级跃升
GLM-130B 仅 0.4T → GLM-4 约 15T → GLM-4.5 23T → GLM-5 28.5T → 下一个目标 100T。 2️⃣“数据墙”被夸大了
2024年底 Ilya 说撞墙，唐杰直接澄清：是“干净数据快用完了”，不是预训练没戏。以后还能继续洗、每年有新数据、还能合成。 3️⃣清洗有多狠
RefinedWeb 整套流程跑完，原始网页只剩 11.67%。微博这类数据可能上 P，但点赞、语气词、骂人基本全被滤掉。 4️⃣真正拉开差距的是解析器
实验室自研 haruka-parser，比最好的开源解析器多捞回 50% 网页 token，高质量 token 多出 150%。只把正文抽得更干净，模型就能涨好几个点。 5️⃣各方打法不同
Google 原始数据多，稍微洗洗就够用；OpenAI 和 Anthropic 合成数据更多。智谱当年想自己做搜索引擎，做不过百度，最后退回到只做爬虫。 6️⃣深夜的隐藏算力
模型高峰在早上 11 点和下午 3 点，后半夜机器闲下来，就拿去给数据打标打分。 模型结构大家都差不多，真正拉开差距的，是那张没人愿意公开的数据配方表，做基模的人最核心的机密，就是这个。 #GLM #智谱 #大模型 #AI #清华大学 #唐杰 #数据配方 #GLM55

曝光 353 · 评论 5 · 点赞 13 · 书签 8