免费工具

找出你自己网站都点不到的页面。

孤岛页:sitemap 里有,但站内没有任何页面链接到它。我们像搜索引擎一样从首页顺着链接爬,把爬到的和 sitemap 对一遍,把每一个被晾在外面的页面列出来。

免注册 · 最多 500 页 · 通常 20 秒到 4 分钟

你的网站

从首页开始,顺着本域名及其子域名的链接爬。先读 robots.txt,里面不让抓的一律跳过。

为什么重要

孤岛页让你损失了什么

sitemap 说明页面存在,链接说明页面重要。

搜索引擎靠链接发现页面

没有任何链接指向的页面,被抓取得更少,也分不到站内其他页面的权重。进了 sitemap 能被发现,但不会因此变重要。

访客也找不到它

导航、分类、相关文章都不指向它,唯一的入口就只剩搜索——而孤岛状态本身又让它更难排上名。

为什么我们从首页开始爬

我们自己爬虫的早期版本只统计 sitemap 页面之间的链接,算出某个站 80% 的页面是孤岛;真实数字是 21%。其余的是只挂在分页上的博客文章,而分页页面不在 sitemap 里。链接可能来自任何页面,所以我们全都顺着爬。

怎么修

从相关的专题页、分类页或导航里链接到它。如果这个页面已经不该存在,就把它从 sitemap 里拿掉,再做跳转或加 noindex。

常见问题

你可能想问

什么样的页面算孤岛页?
在 sitemap 里列出、能正常打开(HTTP 200),但从首页能到达的页面没有一个链接到它。这和 Screaming Frog、Sitebulb 等爬虫工具用的是同一个定义。只被其他孤岛页链接的页面也算——从首页同样到不了它。
为什么没给我孤岛数?
因为拿不出依据。网站比免费的 500 页爬取预算大时,没遇到的 sitemap 页面可能只是藏得更深;首页 HTML 里几乎没有链接时,导航多半是我们不执行的 JavaScript 渲染的。这两种情况我们都只给出真实查到的东西,不猜。
会跟 JavaScript 生成的链接吗?
不会。我们读服务器返回的 HTML,只跟里面的 <a href> 链接。只有执行 JavaScript 之后才出现的菜单、图片热区 <area> 链接,这个检测都看不到。Google 会渲染 JavaScript,所以它可能看得到我们看不到的链接。
会遵守 robots.txt 吗?
会。我们先读你的 robots.txt,凡是对 HitMindBot 或所有爬虫禁止的路径一律跳过。如果 sitemap 里列了 robots.txt 禁止抓的页面,我们会把这个冲突报出来,而不是去抓它。关于 HitMindBot。
多久能跑一次?
每个域名 24 小时最多爬一次,窗口内再跑会显示同一份结果——这也正是链接能分享的原因。每天最多可以对 5 个不同的域名发起爬取。
你们存了什么?
存了结果本身,好让链接一直能打开:我们找到的地址,以及它们能不能访问。不存你的 IP、邮箱或任何能识别你的信息。
接下来

相关工具

完整画面

链接只是其中一部分。

免费体检会读你的首页、robots.txt、sitemap 和 llms.txt,从五个维度打分,告诉你哪一项最值得先修。

免费体检

免注册 · 约 60 秒 · 前 3 条修复建议免费