跳转到正文

Robots.txt 测试器

测试搜索引擎爬虫是否可以根据网站的 robots.txt 抓取页面。测试器会下载 robots.txt,选择与你指定的用户代理对应的组(例如 Googlebot 或 Bingbot),并按照 RFC 9309 和 Google 的规则应用匹配项:匹配规则中最长的一条优先;长度相同时,Allow 优先于 Disallow;同时支持 * 和 $ 通配符。你也可以粘贴自己的 robots.txt,在发布前试用更改。

重置

常见问题

如何使用测试器?

输入一个或多个 URL,每行一个。第一个 URL 必须是完整的 URL,这样测试器才能知道要获取哪个网站的 robots.txt;后续行可以是该网站上的完整 URL,也可以是 /admin/ 这样的路径。选择用户代理,然后运行测试。

如何选择正确的规则组?

爬虫会使用 User-agent 行与其名称匹配的组,匹配时不区分大小写。如果没有完全匹配的组,测试器会选择爬虫名称开头所匹配的最长名称组,例如 Googlebot-Image 会匹配 googlebot;如果仍无匹配项,则使用名称为 * 的组。同名的多个组中的规则会合并。

有多个规则匹配时,哪条规则优先?

最具体的规则优先,也就是路径模式最长的规则。Allow 和 Disallow 规则长度相同时,Allow 优先。这是 RFC 9309 中描述的行为,Google 和 Bing 也采用此规则。

支持通配符吗?

支持。星号可匹配任意字符序列,末尾的美元符号会将规则锚定到 URL 的末尾,因此 Disallow: /*.pdf$ 会屏蔽所有以 .pdf 结尾的 URL。匹配区分大小写,也包括查询字符串。

发布前可以测试 robots.txt 吗?

可以。将其内容粘贴到 robots.txt 字段中。测试器会使用你提供的文本,而不是下载线上文件,因此第一行也可以是路径。

如果网站没有 robots.txt,会怎样?

如果 robots.txt 返回 404 等 4xx 状态码,爬虫可能会抓取所有内容,测试器会将每个 URL 报告为允许抓取。如果它返回 5xx 错误,Google 会暂时将整个网站视为已屏蔽,测试器也会显示这一情况。

Disallow 会让页面从搜索结果中消失吗?

不会。Disallow 会阻止抓取,而不是编入索引。如果其他页面链接到被屏蔽的页面,该页面仍可能出现在搜索结果中,只是不带说明文字。若要让页面不出现在索引中,请在允许抓取的页面上使用 noindex meta 标签或标头。

为什么 Crawl-delay 会被标记?

Google 会忽略 Crawl-delay 指令,而 Bing 会遵循它。测试器会提及此指令,让你知道它不会减慢 Googlebot 的抓取速度。

有尺寸限制吗?

Google 会读取 robots.txt 文件的前 500 KiB,并忽略其余部分。测试器也会读取相同大小的内容,并在文件更长时发出警告。

text

每次请求最多 50 个。抓取在线 robots.txt 计为一次请求,每位访客每分钟可运行的测试次数有限。

关于 OneClick Pro

OneClick Pro 是一个免费的工具集合,包含超过 150 种网络工具,助你处理日常工作:转换图像和单位、格式化和验证代码、检查域名和 SEO,以及处理文本、日期和数字。所有工具均可免注册、免订阅使用;你输入的内容仅用于计算结果,绝不会被存储。你可以将它用作处理临时任务的快捷工具箱,也可以收藏每天都会用到的工具。