Robots.txtテスター
サイトのrobots.txtに基づいて、検索エンジンのクローラーがページを取得できるかテストします。テスターはrobots.txtをダウンロードし、GooglebotやBingbotなど、選択したユーザーエージェントに対応するグループを選びます。そしてRFC 9309およびGoogleと同様に、一致するルールを適用します。最長の一致ルールが優先され、長さが同じ場合はAllowがDisallowより優先されます。また、*と$のワイルドカードも使えます。公開前に変更を試せるよう、独自のrobots.txtを貼り付けることもできます。
よくある質問
テスターの使い方を教えてください。
URLを1行に1つずつ入力します。サイトのrobots.txtを取得するサイトが分かるよう、最初の行には完全なURLを入力してください。続く行には同じサイトの完全なURL、または/admin/のようなパスを入力できます。ユーザーエージェントを選び、テストを実行してください。
適用するルールのグループはどのように選ばれますか?
クローラーは、大文字と小文字を区別せず、自身の名前と一致するUser-agent行のグループを使います。完全一致するグループがない場合は、クローラー名の先頭部分と一致する最長の名前を使います。たとえば、Googlebot-Imageにはgooglebotが使われます。それもなければ、*のグループを使います。同じ名前の複数のグループにあるルールは統合されます。
複数のルールに一致する場合、どれが優先されますか?
最も具体的なルール、つまりパスパターンが最も長いルールが優先されます。AllowとDisallowの長さが同じ場合は、Allowが優先されます。これはRFC 9309で定められ、GoogleとBingで採用されている動作です。
ワイルドカードは使えますか?
はい。アスタリスクは任意の文字列に一致し、末尾のドル記号はルールをURLの末尾に固定します。そのため、Disallow: /*.pdf$は、末尾が.pdfのすべてのURLをブロックします。大文字と小文字は区別され、クエリ文字列も一致判定の対象です。
公開前にrobots.txtをテストできますか?
はい。内容をrobots.txtフィールドに貼り付けてください。テスターは公開中のファイルをダウンロードせず、入力したテキストを使います。そのため、最初の行にパスを入力することもできます。
サイトにrobots.txtがない場合はどうなりますか?
robots.txtが404などの4xxステータスを返すと、クローラーはすべてのページを取得できるため、テスターはすべてのURLを許可済みと報告します。5xxエラーを返すと、Googleはしばらくサイト全体をブロックされたものとして扱います。テスターにもその結果が表示されます。
Disallowでページが検索結果から除外されますか?
いいえ。Disallowが防ぐのはクロールであり、インデックス登録ではありません。他のページからリンクされているブロック対象のページは、説明文なしで検索結果に表示されることがあります。インデックスから除外するには、クロール可能なページにnoindexメタタグまたはヘッダーを設定してください。
Crawl-delayが警告されるのはなぜですか?
GoogleはCrawl-delayディレクティブを無視しますが、Bingはこれを尊重します。テスターにこの記載があるのは、Googlebotのクロールを遅らせるものではないと確認できるようにするためです。
サイズ制限はありますか?
Googleはrobots.txtファイルの先頭500KiBを読み取り、残りは無視します。テスターも同じ量を読み取り、ファイルがそれより長い場合に警告します。
テストできるURLはいくつですか?
1回のリクエストにつき最大50件です。ライブのrobots.txtの取得も1回のリクエストとして数えられ、各訪問者が1分間に実行できるテスト数には上限があります。