离大谱了！如何避免网站数据被爬，你以为在 robots.txt 里屏蔽了 AI 爬虫，内容就安全了？ 实际情况你可能一家也没拦住。 Google、微软、An… · @don_tech1 · TwKit

@don_tech1

离大谱了！如何避免网站数据被爬，你以为在 robots.txt 里屏蔽了 AI 爬虫，内容就安全了？ 实际情况你可能一家也没拦住。 Google、微软、Anthropic OpenAI 各有各的爬虫名，一家不遵守君子协定，就等于白干。 10 月 30 日，OpenAI、Google、微软、Anthropic 四家第一次站到一起： 以后写一行，就能对四家同时说「别拿我的内容训练」。 就这两行（照抄自 IETF 草案）： User-Agent: __usage_ai-training Disallow: / 最大的坑在 Google： 你用新标记拒绝训练，Google 会当你屏蔽了 Google-Extended。 而 Google 原话是：明确允许 Google-Extended 的网站，才有资格在 Gemini 回答里被引用、拿到点击。 操，说白了，拒绝被白嫖，可能就得放弃在 AI 回答里的曝光。 这是站长第一次不用挨家挨户去拒绝 AI，值得改。 但它本质是君子协定，没强制力。千万别把它当表态，也别当护城河。 兄弟们，你会拒绝 AI 训练，还是宁愿被训练、换 AI 回答里的曝光？

曝光 59 · 评论 2 · 点赞 0 · 书签 0