# Robots.txtテスター

サイトのrobots.txtに基づいて、検索エンジンのクローラーがページを取得できるかテストします。テスターはrobots.txtをダウンロードし、GooglebotやBingbotなど、選択したユーザーエージェントに対応するグループを選びます。そしてRFC 9309およびGoogleと同様に、一致するルールを適用します。最長の一致ルールが優先され、長さが同じ場合はAllowがDisallowより優先されます。また、*と$のワイルドカードも使えます。公開前に変更を試せるよう、独自のrobots.txtを貼り付けることもできます。

## よくある質問

### テスターの使い方を教えてください。

URLを1行に1つずつ入力します。サイトのrobots.txtを取得するサイトが分かるよう、最初の行には完全なURLを入力してください。続く行には同じサイトの完全なURL、または/admin/のようなパスを入力できます。ユーザーエージェントを選び、テストを実行してください。

### 適用するルールのグループはどのように選ばれますか？

クローラーは、大文字と小文字を区別せず、自身の名前と一致するUser-agent行のグループを使います。完全一致するグループがない場合は、クローラー名の先頭部分と一致する最長の名前を使います。たとえば、Googlebot-Imageにはgooglebotが使われます。それもなければ、*のグループを使います。同じ名前の複数のグループにあるルールは統合されます。

### 複数のルールに一致する場合、どれが優先されますか？

最も具体的なルール、つまりパスパターンが最も長いルールが優先されます。AllowとDisallowの長さが同じ場合は、Allowが優先されます。これはRFC 9309で定められ、GoogleとBingで採用されている動作です。

### ワイルドカードは使えますか？

はい。アスタリスクは任意の文字列に一致し、末尾のドル記号はルールをURLの末尾に固定します。そのため、Disallow: /*.pdf$は、末尾が.pdfのすべてのURLをブロックします。大文字と小文字は区別され、クエリ文字列も一致判定の対象です。

### 公開前にrobots.txtをテストできますか？

はい。内容をrobots.txtフィールドに貼り付けてください。テスターは公開中のファイルをダウンロードせず、入力したテキストを使います。そのため、最初の行にパスを入力することもできます。

### サイトにrobots.txtがない場合はどうなりますか？

robots.txtが404などの4xxステータスを返すと、クローラーはすべてのページを取得できるため、テスターはすべてのURLを許可済みと報告します。5xxエラーを返すと、Googleはしばらくサイト全体をブロックされたものとして扱います。テスターにもその結果が表示されます。

### Disallowでページが検索結果から除外されますか？

いいえ。Disallowが防ぐのはクロールであり、インデックス登録ではありません。他のページからリンクされているブロック対象のページは、説明文なしで検索結果に表示されることがあります。インデックスから除外するには、クロール可能なページにnoindexメタタグまたはヘッダーを設定してください。

### Crawl-delayが警告されるのはなぜですか？

GoogleはCrawl-delayディレクティブを無視しますが、Bingはこれを尊重します。テスターにこの記載があるのは、Googlebotのクロールを遅らせるものではないと確認できるようにするためです。

### サイズ制限はありますか？

Googleはrobots.txtファイルの先頭500KiBを読み取り、残りは無視します。テスターも同じ量を読み取り、ファイルがそれより長い場合に警告します。

### テストできるURLはいくつですか？

1回のリクエストにつき最大50件です。ライブのrobots.txtの取得も1回のリクエストとして数えられ、各訪問者が1分間に実行できるテスト数には上限があります。

ここに広告を掲載しませんか？

[メールでお問い合わせ](mailto:hi@dennn.is?subject=OneClick%20Pro%E3%81%A7%E3%81%AE%E5%BA%83%E5%91%8A%E6%8E%B2%E8%BC%89)

[広告 433 個のツールを1つのMCPサーバーでAIエージェントに提供します。](https://multitaskai.com/ja/?ref=oneclickpro)
