互联网上大多数 robots.txt 文件,最后一次被人动过还是在任何 AI 爬虫出现之前。这意味着「GPTBot 能不能进来」这个问题在大多数站上根本没有答案——只有沉默,而沉默会被一些爬虫读成「放行」,被另一些读成「拦截」,全看它们怎么解释一条缺失的规则。
三条泳道
每一个 AI 爬虫的意图都能归进三条泳道之一,对应的 robots.txt 答案也各不相同:
- 会引用你的答案引擎——ChatGPT 的浏览代理、Perplexity 的爬虫、Google 自己的 AI Overviews 爬虫。拦掉这些,等于亲手推掉正在变成真实引荐渠道的引用机会。
- 训练爬虫——为了训练或微调模型来抓取的机器人,不承诺会带回一次点击或一次引用。这才是大多数站真正该做选择的地方,而不是默认落进某一边。
- 一切没贴标签的——新的代理每个月都在冒出来,一份 2023 年写死的 robots.txt,对它们全都没有态度。
我们在 hitmind.ai 上实际是怎么设的
我们自己的 robots.txt 默认放行所有人(User-agent: * / Allow: /),然后又逐条写明 GPTBot、ChatGPT-User、PerplexityBot、Perplexity-User、ClaudeBot、Claude-User、Google-Extended、Applebot-Extended 全部显式放行——不是因为通配符不够用,而是对一个劝别人也把话写清楚的产品来说,「写明放行」比「靠省略默认放行」更站得住。到今天为止我们在 hitmind.ai 上还没拦过任何一个 AI 爬虫;如果哪天要拦,那会是这份文件里一条刻意加上的规则,而不是一个悄悄留出来的空白。
我们那个免费的 robots.txt 工具做的正是这件事:把你现有的文件粘进去,它会按爬虫真正的算法跑一遍,对二十个 AI 爬虫逐个给出放行、拦掉、还是从没被点名。(五维站点体检查的是 robots.txt 存不存在、读不读得到;逐个爬虫的裁决在那个工具里。)
通用模板常常写错的地方
网上流传的「AI 安全 robots.txt」模板,大多是把名字里带「bot」「AI」「GPT」的一律拦掉,理论依据是「拦总比放安全」。其实不然——那只是换了一种暴露方式,拿引用机会去换一种模糊的掌控感。正确的默认动作是逐个爬虫做出的决定,不是一条正则表达式。
HitMind 的免费体检在五维检查里查的是 robots.txt 存不存在、读不读得到;逐个爬虫的裁决来自那个免费的 robots.txt 生成器与检查工具——它已经上线了,其余已上线的工具在全部免费工具列表里。
