# Robots.txt-tester

Test, om søgemaskiners crawlere må hente en side i henhold til et websteds robots.txt. Testeren henter robots.txt, vælger gruppen for den brugeragent, du vælger, f.eks. Googlebot eller Bingbot, og anvender de matchende regler, sådan som RFC 9309 og Google gør: Den længste matchende regel vinder, Allow vinder ved uafgjort, og jokertegnene * og $ understøttes. Du kan også indsætte din egen robots.txt for at afprøve ændringer, før du offentliggør dem.

## Ofte stillede spørgsmål

### Hvordan bruger jeg testeren?

Indtast en eller flere URL'er, én pr. linje. Den første skal være en fuld URL, så testeren ved, hvilket websteds robots.txt den skal hente. De efterfølgende linjer kan være fulde URL'er på samme websted eller stier som /admin/. Vælg brugeragenten, og kør testen.

### Hvordan vælges den rigtige regelgruppe?

Crawlere bruger den gruppe, hvis User-agent-linje matcher deres navn, uden hensyn til store og små bogstaver. Hvis der ikke er en præcis gruppe, bruger testeren det længste navn, som crawlerens navn begynder med, f.eks. googlebot for Googlebot-Image. Ellers bruges gruppen for *. Regler fra flere grupper med samme navn kombineres.

### Hvilken regel vinder, når flere matcher?

Den mest specifikke, dvs. reglen med det længste stismønster. Når en Allow-regel og en Disallow-regel har samme længde, vinder Allow. Det er den adfærd, der beskrives i RFC 9309 og bruges af Google og Bing.

### Understøttes jokertegn?

Ja. En stjerne matcher enhver tegnfølge, og et dollartegn til sidst forankrer reglen ved slutningen af URL. Derfor blokerer Disallow: /*.pdf$ alle URL, der slutter på .pdf. Matchningen skelner mellem store og små bogstaver og omfatter forespørgselsstrengen.

### Kan jeg teste en robots.txt, før jeg offentliggør den?

Ja. Indsæt indholdet i feltet robots.txt. Testeren bruger derefter din tekst i stedet for at hente den aktive fil, så den første linje også kan være en sti.

### Hvad hvis webstedet ikke har en robots.txt?

Når robots.txt returnerer en 4xx-status som 404, må crawlere hente alt, og testeren angiver alle URL som tilladt. Når den returnerer en 5xx-fejl, behandler Google hele webstedet som blokeret i et stykke tid, og testeren viser også det.

### Forhindrer Disallow en side i at blive vist i søgeresultater?

Nej. Disallow forhindrer crawling, ikke indeksering. En blokeret side kan stadig vises i resultaterne, hvis andre sider linker til den, men uden en beskrivelse. Brug et noindex-meta-tag eller en header på en side, der kan crawles, for at holde den ude af indekset.

### Hvorfor markeres Crawl-delay?

Google ignorerer Crawl-delay-direktivet, mens Bing respekterer det. Testeren nævner det, så du ved, at det ikke gør Googlebot langsommere.

### Er der en størrelsesgrænse?

Google læser de første 500 KiB af en robots.txt-fil og ignorerer resten. Testeren læser samme mængde og advarer, når en fil er længere.

### Hvor mange URL'er kan jeg teste?

Op til 50 pr. anmodning. Hentning af den aktive robots.txt tæller som én anmodning, og hver besøgende kan køre et begrænset antal tests pr. minut.

Din annonce her?

[Send os en e-mail](mailto:hi@dennn.is?subject=Annoncering%20p%C3%A5%20OneClick%20Pro)

[Annonce 433 værktøjer til dine AI-agenter via én MCP-server.](https://multitaskai.com/da/?ref=oneclickpro)
