Gå til indhold

Robots.txt-tester

Test, om søgemaskiners crawlere må hente en side i henhold til et websteds robots.txt. Testeren henter robots.txt, vælger gruppen for den brugeragent, du vælger, f.eks. Googlebot eller Bingbot, og anvender de matchende regler, sådan som RFC 9309 og Google gør: Den længste matchende regel vinder, Allow vinder ved uafgjort, og jokertegnene * og $ understøttes. Du kan også indsætte din egen robots.txt for at afprøve ændringer, før du offentliggør dem.

Nulstil

Ofte stillede spørgsmål

Hvordan bruger jeg testeren?

Indtast en eller flere URL'er, én pr. linje. Den første skal være en fuld URL, så testeren ved, hvilket websteds robots.txt den skal hente. De efterfølgende linjer kan være fulde URL'er på samme websted eller stier som /admin/. Vælg brugeragenten, og kør testen.

Hvordan vælges den rigtige regelgruppe?

Crawlere bruger den gruppe, hvis User-agent-linje matcher deres navn, uden hensyn til store og små bogstaver. Hvis der ikke er en præcis gruppe, bruger testeren det længste navn, som crawlerens navn begynder med, f.eks. googlebot for Googlebot-Image. Ellers bruges gruppen for *. Regler fra flere grupper med samme navn kombineres.

Hvilken regel vinder, når flere matcher?

Den mest specifikke, dvs. reglen med det længste stismønster. Når en Allow-regel og en Disallow-regel har samme længde, vinder Allow. Det er den adfærd, der beskrives i RFC 9309 og bruges af Google og Bing.

Understøttes jokertegn?

Ja. En stjerne matcher enhver tegnfølge, og et dollartegn til sidst forankrer reglen ved slutningen af URL. Derfor blokerer Disallow: /*.pdf$ alle URL, der slutter på .pdf. Matchningen skelner mellem store og små bogstaver og omfatter forespørgselsstrengen.

Kan jeg teste en robots.txt, før jeg offentliggør den?

Ja. Indsæt indholdet i feltet robots.txt. Testeren bruger derefter din tekst i stedet for at hente den aktive fil, så den første linje også kan være en sti.

Hvad hvis webstedet ikke har en robots.txt?

Når robots.txt returnerer en 4xx-status som 404, må crawlere hente alt, og testeren angiver alle URL som tilladt. Når den returnerer en 5xx-fejl, behandler Google hele webstedet som blokeret i et stykke tid, og testeren viser også det.

Forhindrer Disallow en side i at blive vist i søgeresultater?

Nej. Disallow forhindrer crawling, ikke indeksering. En blokeret side kan stadig vises i resultaterne, hvis andre sider linker til den, men uden en beskrivelse. Brug et noindex-meta-tag eller en header på en side, der kan crawles, for at holde den ude af indekset.

Hvorfor markeres Crawl-delay?

Google ignorerer Crawl-delay-direktivet, mens Bing respekterer det. Testeren nævner det, så du ved, at det ikke gør Googlebot langsommere.

Er der en størrelsesgrænse?

Google læser de første 500 KiB af en robots.txt-fil og ignorerer resten. Testeren læser samme mængde og advarer, når en fil er længere.

Hvor mange URL'er kan jeg teste?

Op til 50 pr. anmodning. Hentning af den aktive robots.txt tæller som én anmodning, og hver besøgende kan køre et begrænset antal tests pr. minut.

Om OneClick Pro

OneClick Pro er en gratis samling med mere end 150 webværktøjer til daglige opgaver: konvertering af billeder og enheder, formatering og validering af kode, opslag af domæner og SEO samt arbejde med tekst, datoer og tal. Alle værktøjer fungerer uden registrering eller abonnement, og det, du indtaster, bruges kun til at beregne resultatet og gemmes aldrig. Brug samlingen som en hurtig værktøjskasse til enkeltstående opgaver, eller bogmærk de værktøjer, du bruger hver dag.