Robots.txt-Tester
Prüfe, ob Suchmaschinen-Crawler eine Seite gemäß der robots.txt einer Website abrufen dürfen. Der Tester lädt robots.txt herunter, wählt die Gruppe für den von dir ausgewählten User-Agent, etwa Googlebot oder Bingbot, und wendet die passenden Regeln gemäß RFC 9309 und Google an: Die längste passende Regel hat Vorrang, bei Gleichstand gewinnt Allow vor Disallow, und die Platzhalter * und $ werden unterstützt. Du kannst auch deine eigene robots.txt einfügen, um Änderungen vor der Veröffentlichung auszuprobieren.
Häufig gestellte Fragen
Wie verwende ich den Tester?
Gib eine oder mehrere URLs ein, jeweils eine pro Zeile. Die erste muss eine vollständige URL sein, damit der Tester weiß, von welcher Website er robots.txt abrufen soll. Die folgenden Zeilen können vollständige URLs derselben Website oder Pfade wie /admin/ enthalten. Wähle den User-Agent aus und starte den Test.
Wie wird die passende Regelgruppe ausgewählt?
Crawler verwenden die Gruppe, deren User-agent-Zeile ihrem Namen entspricht; die Groß- und Kleinschreibung wird ignoriert. Gibt es keine genaue Übereinstimmung, verwendet der Tester den längsten Namen, mit dem der Name des Crawlers beginnt, zum Beispiel googlebot für Googlebot-Image. Andernfalls wird die Gruppe für * verwendet. Regeln aus mehreren Gruppen mit demselben Namen werden zusammengeführt.
Welche Regel gilt, wenn mehrere zutreffen?
Die spezifischste Regel, also die mit dem längsten Pfadmuster. Sind eine Allow- und eine Disallow-Regel gleich lang, gewinnt Allow. Dieses Verhalten ist in RFC 9309 beschrieben und wird von Google und Bing verwendet.
Werden Platzhalter unterstützt?
Ja. Ein Sternchen steht für eine beliebige Zeichenfolge. Ein Dollarzeichen am Ende verankert die Regel am Ende der URL. Daher sperrt Disallow: /*.pdf$ jede URL, die auf .pdf endet. Bei der Übereinstimmung wird die Groß- und Kleinschreibung berücksichtigt; auch der Query-String wird einbezogen.
Kann ich eine robots.txt vor der Veröffentlichung testen?
Ja. Füge den Inhalt in das Feld robots.txt ein. Der Tester verwendet dann deinen Text, statt die aktuelle Datei herunterzuladen. Daher kann die erste Zeile auch ein Pfad sein.
Was passiert, wenn die Website keine robots.txt hat?
Wenn robots.txt einen 4xx-Status wie 404 zurückgibt, können Crawler alles abrufen, und der Tester meldet jede URL als zugelassen. Bei einem 5xx-Fehler behandelt Google die ganze Website eine Zeit lang als gesperrt. Das zeigt der Tester ebenfalls an.
Hält Disallow eine Seite aus den Suchergebnissen heraus?
Nein. Disallow verhindert das Crawling, nicht die Indexierung. Eine gesperrte Seite kann weiterhin in den Ergebnissen erscheinen, wenn andere Seiten auf sie verlinken, allerdings ohne Beschreibung. Verwende ein noindex-Meta-Tag oder einen Header auf einer crawlbaren Seite, damit sie nicht in den Index aufgenommen wird.
Warum wird Crawl-delay markiert?
Google ignoriert die Crawl-delay-Direktive, während Bing sie berücksichtigt. Der Tester erwähnt sie, damit du weißt, dass sie den Googlebot nicht ausbremst.
Gibt es eine Größenbeschränkung?
Google liest die ersten 500 KiB einer robots.txt-Datei und ignoriert den Rest. Der Tester liest dieselbe Menge und warnt, wenn eine Datei länger ist.
Wie viele URLs kann ich testen?
Bis zu 50 pro Anfrage. Das Abrufen der Live-robots.txt zählt als eine Anfrage, und jeder Besucher kann pro Minute eine begrenzte Anzahl von Tests ausführen.