怎么认出它
HitMindBot 的请求带这个 UA:
Mozilla/5.0 (compatible; HitMindBot/1.0; +https://hitmind.ai/bot)
免费体检里的性能一项不一样:它用无头 Chrome 浏览器跑 Lighthouse,把你的首页加载一次。那个请求的标识是 Chrome-Lighthouse,不是 HitMindBot。
我们不公布固定的 IP 列表,请按 UA 识别。
什么时候会来
- 有人对你的网站跑了免费体检。只抓少数几个文件,见下文。
- 有人对你的网站跑了孤岛页检测。从首页顺着链接爬,同一个网站 24 小时最多一次。
- 站长把自己的网站接入了 HitMind 账号。我们会代站长抓取这个网站。
- 我们的研究扫描,每月最多一次。为一份「网站怎么对待 AI 爬虫」的报告,读一份公开热门域名榜单上靠前站点的三个公开文件。见下文。
除了研究扫描,HitMindBot 不会自己在网上乱逛:它不顺着链接跑到别的网站,也不自己攒要爬的站点列表。
免费 SEO 体检
每跑一次,抓你的首页、robots.txt、sitemap、llms.txt 和 ai.txt,再抽查首页上最多 10 条链接看有没有坏链。只在有人发起时跑一次。
它读 robots.txt 是为了在报告里说明它的情况。因为只抓首页和这几个标准文件,Disallow 规则不会让它跳过它们。
孤岛页检测器
- 先读
robots.txt和你的 sitemap(最多 30 个 sitemap 文件)。 - 从首页顺着链接最多爬 500 页,再打开最多 200 个没有任何链接指向的 sitemap 页面,确认它们能打开。
- 同时最多抓 4 个页面,对同一个网站每分钟不超过 240 次请求。
- 同一个网站 24 小时最多爬一次。窗口内别人再检测,看到的是保存下来的结果,不会再抓。
- 只跟你的域名及其子域名上的普通链接(
<a href>)。不提交表单、不登录、不执行 JavaScript。
它遵守 robots.txt:凡是对 HitMindBot 禁止的路径——没有 HitMindBot 分组时按所有爬虫(*)的规则——都不会抓。
研究扫描
- 扫哪些站:Tranco 榜单靠前的域名。Tranco 是为研究编制的公开热门域名排名,我们不手挑站点。
- 抓什么:先抓
robots.txt,再抓llms.txt和首页的前 256 KB——首页只用来判断这个站是不是 WordPress。每站最多三个请求,一个接一个,不并发。 - robots.txt:永远先读,我们靠它知道你的规则。如果 robots.txt 对 HitMindBot 禁止了——没有 HitMindBot 分组时按所有爬虫(
*)的规则——就不抓llms.txt和首页。 - 多久一次:每月最多一次。
- 发布什么:只发布汇总数字,比如拦掉某个 AI 爬虫的网站占多少。不公开你的文件,也不公布站点名单。
2026 年 10 月这一轮的结果:AI crawler access in the top 10,000 sites(英文)。
怎么限制或屏蔽它
不想让孤岛页检测器抓某些路径,在 robots.txt 里加一组:
User-agent: HitMindBot
Disallow: /private/
写 Disallow: / 就是整站都不让抓。研究扫描认同一个分组:它仍会读 robots.txt 本身——它就是靠这个知道你的选择——然后停下。
免费体检只抓首页和几个标准文件,robots.txt 挡不住它。要彻底屏蔽 HitMindBot,请在服务器、防火墙或 CDN 上按 UA 拦截——它每个请求都会如实报上名字。
联系我们
HitMindBot 给你造成了麻烦,请发邮件到 support@hitmind.ai,附上你的域名和日志里看到的情况。