做网站的注意一下，现在可以只拦 AI 训练爬虫，搜索照样放行了。 Cloudflare 接域名那一步，AI 爬虫被拆成了三类：搜索、Agent、训练，每类单… · @Curingieul · TwKit

@Curingieul

做网站的注意一下，现在可以只拦 AI 训练爬虫，搜索照样放行了。 Cloudflare 接域名那一步，AI 爬虫被拆成了三类：搜索、Agent、训练，每类单独选。推荐设置是搜索放行、训练禁止，勾上“页面有广告”的话，Agent 在带广告的页面也会被拦。 还有个 Bot Preference Sync，打开以后它会把这些设置直接加到你 robots.txt 最前面，不用自己一行行写 User-agent。 原帖的意思也很直接：还想在 ChatGPT、Claude、Google 这些 AI 结果里露脸的，别一刀切全封。 不过 robots.txt 本来就是君子协定，守不守看对方自觉😂 https://x.com/alexgroberman/status/2116897511860474089

曝光 45 · 评论 0 · 点赞 1 · 书签 0