Robots.txt 测试器
测试搜索引擎爬虫是否可以根据网站的 robots.txt 抓取页面。测试器会下载 robots.txt,选择与你指定的用户代理对应的组(例如 Googlebot 或 Bingbot),并按照 RFC 9309 和 Google 的规则应用匹配项:匹配规则中最长的一条优先;长度相同时,Allow 优先于 Disallow;同时支持 * 和 $ 通配符。你也可以粘贴自己的 robots.txt,在发布前试用更改。
常见问题
如何使用测试器?
输入一个或多个 URL,每行一个。第一个 URL 必须是完整的 URL,这样测试器才能知道要获取哪个网站的 robots.txt;后续行可以是该网站上的完整 URL,也可以是 /admin/ 这样的路径。选择用户代理,然后运行测试。
如何选择正确的规则组?
爬虫会使用 User-agent 行与其名称匹配的组,匹配时不区分大小写。如果没有完全匹配的组,测试器会选择爬虫名称开头所匹配的最长名称组,例如 Googlebot-Image 会匹配 googlebot;如果仍无匹配项,则使用名称为 * 的组。同名的多个组中的规则会合并。
有多个规则匹配时,哪条规则优先?
最具体的规则优先,也就是路径模式最长的规则。Allow 和 Disallow 规则长度相同时,Allow 优先。这是 RFC 9309 中描述的行为,Google 和 Bing 也采用此规则。
支持通配符吗?
支持。星号可匹配任意字符序列,末尾的美元符号会将规则锚定到 URL 的末尾,因此 Disallow: /*.pdf$ 会屏蔽所有以 .pdf 结尾的 URL。匹配区分大小写,也包括查询字符串。
发布前可以测试 robots.txt 吗?
可以。将其内容粘贴到 robots.txt 字段中。测试器会使用你提供的文本,而不是下载线上文件,因此第一行也可以是路径。
如果网站没有 robots.txt,会怎样?
如果 robots.txt 返回 404 等 4xx 状态码,爬虫可能会抓取所有内容,测试器会将每个 URL 报告为允许抓取。如果它返回 5xx 错误,Google 会暂时将整个网站视为已屏蔽,测试器也会显示这一情况。
Disallow 会让页面从搜索结果中消失吗?
不会。Disallow 会阻止抓取,而不是编入索引。如果其他页面链接到被屏蔽的页面,该页面仍可能出现在搜索结果中,只是不带说明文字。若要让页面不出现在索引中,请在允许抓取的页面上使用 noindex meta 标签或标头。
为什么 Crawl-delay 会被标记?
Google 会忽略 Crawl-delay 指令,而 Bing 会遵循它。测试器会提及此指令,让你知道它不会减慢 Googlebot 的抓取速度。
有尺寸限制吗?
Google 会读取 robots.txt 文件的前 500 KiB,并忽略其余部分。测试器也会读取相同大小的内容,并在文件更长时发出警告。
text
每次请求最多 50 个。抓取在线 robots.txt 计为一次请求,每位访客每分钟可运行的测试次数有限。