已有账号?登录
多数站点要的就是这份文件:一条管所有爬虫的规则、不让抓的目录、站点地图在哪。需要的话,再把二十个 AI 爬虫一条一条定下来——然后看看你现在那份文件实际放行了什么。
全程在你的浏览器里跑。不上传,不留存。
对多数站点来说,整份文件就是这些:一个默认、不让抓的路径、站点地图。它们都写进同一个 User-agent: * 组,每个爬虫都会读到。
爬虫可以读每一个页面,下面列出的路径除外。
一行一条,以 / 开头。结尾带斜杠表示整个目录;* 匹配任意字符,$ 表示到此结束。漏了开头的斜杠、粘了整条网址,都会自动改对。
被拦的路径里要留着能抓的页面。更长的那条胜,所以 Allow: /wp-admin/admin-ajax.php 压得住 Disallow: /wp-admin/。
两次请求之间隔几秒。Google 不认这一行——官方文档把 crawl-delay 列为不支持的字段;Bing 认。除非某个爬虫真的压垮了服务器,否则不用写。
一行一条,写带 https:// 的完整地址。WordPress 自带的站点地图是 /wp-sitemap.xml;Yoast 和 Rank Math 用 /sitemap_index.xml。博客如果跑在另一套系统上,把它的站点地图也列进来。
没有自己的组时,AI 爬虫和别的爬虫一样,照上面的规则办。只有想区别对待某几个,才需要在这里点名。这里没有一个适用于所有站点的正确答案,只有每条爬虫在做什么,以及你是否想要。
关——AI 爬虫照上面的规则办。选一个批量动作或改任意一行,就会打开。
拦掉训练爬虫,保留会引用你的那些。 · 同时也把你从那些本会链回来的 AI 答案里摘掉了。
默认全放行,因为 hitmind.ai 自己的 robots.txt 就是这么写的——那是我们的选择,不是给你站的处方。每一行都可以改。
它们读一个页面来回答问题,并在答案里链回去。拦掉一个,换走的正是那条引用——而引用是真能把人带到你站上的部分。
抓页面去建模型或做微调,不承诺给你任何点击或引用。多数站点真正想做选择的是这一档,而不是默默让它默认下去。
广告安全审核、社交卡片预览、研发抓取。既不拿去训练也不会引用你,所以拦与不拦,代价和收益都很小。
整份替换掉 robots.txt,或者把其中的分组并进你已有的那份。
# robots.txt — generated by https://hitmind.ai/tools/robots-txt-generator
# All crawlers
User-agent: *
Allow: /
放在哪 — 永远放域名根目录:https://example.com/robots.txt。不是子目录,也不是你名下的另一个子域——每个主机名读自己那份。
把你现有的 robots.txt 粘进来。规则会按爬虫真正的算法跑一遍——先看 Google 和 Bing,再看每条 AI 爬虫。
我们查了 Tranco 热门域名榜前 1 万名:在 * 组里拦了路径、又点名了 AI 爬虫的 robots.txt 中,29.8% 至少有一处这种漏洞。 看研究报告(英文) →
默认测首页。可以试试你本想拦掉的目录,比如 /wp-admin/。
这里读的是规则,不是执行。robots.txt 是一个请求;不理它的爬虫要靠服务器或 CDN 拦,不是靠这份文件。
把文件粘到上面,看看它放行了什么。
robots.txt 看着像一份从上往下读的清单。它不是。
它找到与自己名字匹配的那组就用那组。没有,才用 User-agent: *。两者永远不合并——所以只写在 * 下面的路径,对你在别处点过名的每个爬虫都是敞开的。
Disallow: /a/ 加上 Allow: /a/b/,结果是 /a/b/c 被放行:更长的那条胜,与顺序无关。两条一样长时,Allow 胜。
Disallow: 后面什么都不写,和 Disallow: / 恰好相反——它是全部放行。两种写法在真实文件里都见得到,后者通常是写漏了。
守规矩的爬虫会照办,其余的读完照抓。真正必须挡住的东西该放在登录之后或服务器规则里,不在这份文件里。
被禁止抓取的网址照样可能出现在 Google 里:官方文档写明,Google 仍可能把这个网址编入索引、显示在搜索结果里,只是不带摘要。想让页面不进搜索结果,要放它被抓,再给它加 noindex。
Sitemap: 写在文件哪里都对所有爬虫生效,而且必须是带协议和主机名的完整网址。它是整份文件里唯一不归某个 User-agent 管的一行。
免费体检会读 robots.txt、站点地图、llms.txt 和首页,按五个维度打分,并排出先修哪一条。不用注册,不用卡。
5 个维度 · 免注册 · 约 60 秒