互联网正在变成 AI 的训练回音室，而且速度比想象中更快 UC Berkeley 等高校最新的一篇论文分析了 2019–2026 年超过 510 万个网页，… · @kqyno7 · TwKit

@kqyno7

互联网正在变成 AI 的训练回音室，而且速度比想象中更快 UC Berkeley 等高校最新的一篇论文分析了 2019–2026 年超过 510 万个网页，发现了几个值得注意的趋势： 1. 截至 2026 年 8 月，约 24% 的可抓取长文本网页包含 AI 生成或编辑内容 2. AI 内容占比的年增长速度，从 4.6 个百分点加速到 8.1 个百分点 3. 增量近 80% 来自互联网边缘网站，英文网页、商业网站的 AI 内容比例尤其高 互联网一直是 LLM 最重要的知识来源之一，但未来模型爬取的内容，越来越多来自上一代模型 那下一代模型的预训练数据呢？ 这可能带来一种反馈循环：AI 生成内容 → 进入训练集 → 新模型再次生成类似内容 长期来看，模型可能逐渐强化已有的表达偏好，削弱数据多样性，甚至面临 Model Collapse 风险 当然，这篇论文并没有证明模型崩溃必然发生，合成数据也不等于一定低质量数据 未来预训练的竞争是比谁能保留高质量的人类原创数据、识别数据来源，并有效筛选和利用合成数据 当 AI 开始大量学习 AI，我们该如何保证下一代模型仍然能学到新的东西？ #AI #LLM #Pretraining #SyntheticData #ModelCollapse

曝光 107 · 评论 1 · 点赞 2 · 书签 0