コンテンツへスキップ

Robots.txtテスター

サイトのrobots.txtに基づいて、検索エンジンのクローラーがページを取得できるかテストします。テスターはrobots.txtをダウンロードし、GooglebotやBingbotなど、選択したユーザーエージェントに対応するグループを選びます。そしてRFC 9309およびGoogleと同様に、一致するルールを適用します。最長の一致ルールが優先され、長さが同じ場合はAllowがDisallowより優先されます。また、*と$のワイルドカードも使えます。公開前に変更を試せるよう、独自のrobots.txtを貼り付けることもできます。

リセット

よくある質問

テスターの使い方を教えてください。

URLを1行に1つずつ入力します。サイトのrobots.txtを取得するサイトが分かるよう、最初の行には完全なURLを入力してください。続く行には同じサイトの完全なURL、または/admin/のようなパスを入力できます。ユーザーエージェントを選び、テストを実行してください。

適用するルールのグループはどのように選ばれますか?

クローラーは、大文字と小文字を区別せず、自身の名前と一致するUser-agent行のグループを使います。完全一致するグループがない場合は、クローラー名の先頭部分と一致する最長の名前を使います。たとえば、Googlebot-Imageにはgooglebotが使われます。それもなければ、*のグループを使います。同じ名前の複数のグループにあるルールは統合されます。

複数のルールに一致する場合、どれが優先されますか?

最も具体的なルール、つまりパスパターンが最も長いルールが優先されます。AllowとDisallowの長さが同じ場合は、Allowが優先されます。これはRFC 9309で定められ、GoogleとBingで採用されている動作です。

ワイルドカードは使えますか?

はい。アスタリスクは任意の文字列に一致し、末尾のドル記号はルールをURLの末尾に固定します。そのため、Disallow: /*.pdf$は、末尾が.pdfのすべてのURLをブロックします。大文字と小文字は区別され、クエリ文字列も一致判定の対象です。

公開前にrobots.txtをテストできますか?

はい。内容をrobots.txtフィールドに貼り付けてください。テスターは公開中のファイルをダウンロードせず、入力したテキストを使います。そのため、最初の行にパスを入力することもできます。

サイトにrobots.txtがない場合はどうなりますか?

robots.txtが404などの4xxステータスを返すと、クローラーはすべてのページを取得できるため、テスターはすべてのURLを許可済みと報告します。5xxエラーを返すと、Googleはしばらくサイト全体をブロックされたものとして扱います。テスターにもその結果が表示されます。

Disallowでページが検索結果から除外されますか?

いいえ。Disallowが防ぐのはクロールであり、インデックス登録ではありません。他のページからリンクされているブロック対象のページは、説明文なしで検索結果に表示されることがあります。インデックスから除外するには、クロール可能なページにnoindexメタタグまたはヘッダーを設定してください。

Crawl-delayが警告されるのはなぜですか?

GoogleはCrawl-delayディレクティブを無視しますが、Bingはこれを尊重します。テスターにこの記載があるのは、Googlebotのクロールを遅らせるものではないと確認できるようにするためです。

サイズ制限はありますか?

Googleはrobots.txtファイルの先頭500KiBを読み取り、残りは無視します。テスターも同じ量を読み取り、ファイルがそれより長い場合に警告します。

テストできるURLはいくつですか?

1回のリクエストにつき最大50件です。ライブのrobots.txtの取得も1回のリクエストとして数えられ、各訪問者が1分間に実行できるテスト数には上限があります。

OneClick Proについて

OneClick Proは、日々の作業に役立つ150以上のウェブツールを集めた無料コレクションです。画像や単位の変換、コードの整形と検証、ドメインやSEOの確認、テキスト、日付、数値の処理などに利用できます。すべてのツールは登録やサブスクリプションなしで使えます。入力した内容は結果の計算にのみ使用され、保存されることはありません。単発の作業に使える便利なツールボックスとして、または毎日使うツールをブックマークしてご活用ください。