Robots.txt-testare
Testa om sökmotorernas sökrobotar får hämta en sida enligt webbplatsens robots.txt. Testaren hämtar robots.txt, väljer gruppen för den user agent du anger, till exempel Googlebot eller Bingbot, och tillämpar matchande regler så som RFC 9309 och Google gör: den längsta matchande regeln gäller, Allow vinner vid lika långa regler och jokertecknen * och $ stöds. Du kan också klistra in en egen robots.txt för att prova ändringar innan du publicerar dem.
Vanliga frågor
Hur använder jag testaren?
Ange en eller flera URL:er, en per rad. Den första måste vara en fullständig URL så att testaren vet vilken webbplats robots.txt som ska hämtas. Följande rader kan innehålla fullständiga URL:er på samma webbplats eller sökvägar, till exempel /admin/. Välj user agent och kör testet.
Hur väljs rätt regelgrupp?
Sökrobotar använder gruppen vars User-agent-rad matchar deras namn, oavsett skiftläge. Om ingen grupp matchar exakt använder testaren det längsta namnet som sökrobotens namn börjar med, till exempel googlebot för Googlebot-Image. I annat fall används gruppen för *. Regler från flera grupper med samma namn slås ihop.
Vilken regel gäller när flera matchar?
Den mest specifika, alltså regeln med det längsta sökvägsmönstret. Om en Allow-regel och en Disallow-regel är lika långa vinner Allow. Det här beteendet beskrivs i RFC 9309 och används av Google och Bing.
Stöds jokertecken?
Ja. En asterisk matchar valfri teckenföljd och ett dollartecken i slutet förankrar regeln vid slutet av URL. Därför blockerar Disallow: /*.pdf$ alla URL som slutar på .pdf. Matchningen är skiftlägeskänslig och omfattar frågesträngen.
Kan jag testa en robots.txt innan jag publicerar den?
Ja. Klistra in innehållet i fältet robots.txt. Testaren använder då din text i stället för att hämta den aktiva filen, så den första raden kan också vara en sökväg.
Vad händer om webbplatsen saknar robots.txt?
Om robots.txt returnerar en 4xx-status, till exempel 404, får sökrobotar hämta allt och testaren rapporterar varje URL som tillåten. Om den returnerar ett 5xx-fel behandlar Google hela webbplatsen som blockerad en stund, vilket testaren också visar.
Hindrar Disallow en sida från att visas i sökresultaten?
Nej. Disallow stoppar genomsökning, inte indexering. En blockerad sida kan fortfarande visas i resultaten om andra sidor länkar till den, men då utan en beskrivning. Använd en noindex-meta-tagg eller header på en sida som kan genomsökas för att hålla den borta från indexet.
Varför flaggas Crawl-delay?
Google ignorerar direktivet Crawl-delay, medan Bing respekterar det. Testverktyget nämner det så att du vet att det inte gör Googlebot långsammare.
Finns det någon storleksgräns?
Google läser de första 500 KiB i en robots.txt-fil och ignorerar resten. Testverktyget läser lika mycket och varnar om filen är längre.
Hur många URL:er kan jag testa?
Upp till 50 per förfrågan. Att hämta den aktiva robots.txt räknas som en förfrågan, och varje besökare kan köra ett begränsat antal tester per minut.