# Robots.txt 测试器

测试搜索引擎爬虫是否可以根据网站的 robots.txt 抓取页面。测试器会下载 robots.txt，选择与你指定的用户代理对应的组（例如 Googlebot 或 Bingbot），并按照 RFC 9309 和 Google 的规则应用匹配项：匹配规则中最长的一条优先；长度相同时，Allow 优先于 Disallow；同时支持 * 和 $ 通配符。你也可以粘贴自己的 robots.txt，在发布前试用更改。

## 常见问题

### 如何使用测试器？

输入一个或多个 URL，每行一个。第一个 URL 必须是完整的 URL，这样测试器才能知道要获取哪个网站的 robots.txt；后续行可以是该网站上的完整 URL，也可以是 /admin/ 这样的路径。选择用户代理，然后运行测试。

### 如何选择正确的规则组？

爬虫会使用 User-agent 行与其名称匹配的组，匹配时不区分大小写。如果没有完全匹配的组，测试器会选择爬虫名称开头所匹配的最长名称组，例如 Googlebot-Image 会匹配 googlebot；如果仍无匹配项，则使用名称为 * 的组。同名的多个组中的规则会合并。

### 有多个规则匹配时，哪条规则优先？

最具体的规则优先，也就是路径模式最长的规则。Allow 和 Disallow 规则长度相同时，Allow 优先。这是 RFC 9309 中描述的行为，Google 和 Bing 也采用此规则。

### 支持通配符吗？

支持。星号可匹配任意字符序列，末尾的美元符号会将规则锚定到 URL 的末尾，因此 Disallow: /*.pdf$ 会屏蔽所有以 .pdf 结尾的 URL。匹配区分大小写，也包括查询字符串。

### 发布前可以测试 robots.txt 吗？

可以。将其内容粘贴到 robots.txt 字段中。测试器会使用你提供的文本，而不是下载线上文件，因此第一行也可以是路径。

### 如果网站没有 robots.txt，会怎样？

如果 robots.txt 返回 404 等 4xx 状态码，爬虫可能会抓取所有内容，测试器会将每个 URL 报告为允许抓取。如果它返回 5xx 错误，Google 会暂时将整个网站视为已屏蔽，测试器也会显示这一情况。

### Disallow 会让页面从搜索结果中消失吗？

不会。Disallow 会阻止抓取，而不是编入索引。如果其他页面链接到被屏蔽的页面，该页面仍可能出现在搜索结果中，只是不带说明文字。若要让页面不出现在索引中，请在允许抓取的页面上使用 noindex meta 标签或标头。

### 为什么 Crawl-delay 会被标记？

Google 会忽略 Crawl-delay 指令，而 Bing 会遵循它。测试器会提及此指令，让你知道它不会减慢 Googlebot 的抓取速度。

### 有尺寸限制吗？

Google 会读取 robots.txt 文件的前 500 KiB，并忽略其余部分。测试器也会读取相同大小的内容，并在文件更长时发出警告。

### text

每次请求最多 50 个。抓取在线 robots.txt 计为一次请求，每位访客每分钟可运行的测试次数有限。

在这里投放广告？

[给我们发邮件](mailto:hi@dennn.is?subject=%E5%9C%A8%20OneClick%20Pro%20%E4%B8%8A%E6%8A%95%E6%94%BE%E5%B9%BF%E5%91%8A)

[广告 通过一个 MCP 服务器为你的 AI 代理提供 433 种工具。](https://multitaskai.com/zh/?ref=oneclickpro)
