# Robots.txt-tester

Test of crawlers van zoekmachines een pagina mogen ophalen volgens het robots.txt-bestand van een site. De tester downloadt robots.txt, kiest de groep voor de user-agent die je selecteert, zoals Googlebot of Bingbot, en past de overeenkomende regels toe zoals RFC 9309 en Google dat doen: de langste overeenkomende regel wint, Allow wint bij gelijke lengte van Disallow, en de jokertekens * en $ worden ondersteund. Je kunt ook je eigen robots.txt plakken om wijzigingen te testen voordat je ze publiceert.

## Veelgestelde vragen

### Hoe gebruik ik de tester?

Voer één of meer URL's in, één per regel. De eerste moet een volledige URL zijn, zodat de tester weet welk robots.txt-bestand van de site moet worden opgehaald. De volgende regels kunnen volledige URL's op dezelfde site zijn of paden, zoals /admin/. Kies de user-agent en start de test.

### Hoe wordt de juiste regelgroep gekozen?

Crawlers gebruiken de groep waarvan de User-agent-regel overeenkomt met hun naam; hoofdletters en kleine letters worden daarbij genegeerd. Is er geen exacte groep, dan gebruikt de tester de langste naam waarmee de crawlernaam begint, bijvoorbeeld googlebot voor Googlebot-Image. Anders wordt de groep voor * gebruikt. Regels uit meerdere groepen met dezelfde naam worden gecombineerd.

### Welke regel wint als er meerdere overeenkomen?

De meest specifieke regel, oftewel die met het langste padpatroon. Als een Allow- en een Disallow-regel even lang zijn, wint Allow. Dit is het gedrag dat wordt beschreven in RFC 9309 en wordt gebruikt door Google en Bing.

### Worden jokertekens ondersteund?

Ja. Een sterretje komt overeen met elke tekenreeks en een dollarteken aan het einde verankert de regel aan het einde van de URL. Zo blokkeert Disallow: /*.pdf$ elke URL die eindigt op .pdf. Bij de overeenkomst wordt onderscheid gemaakt tussen hoofdletters en kleine letters, en de querystring telt mee.

### Kan ik een robots.txt testen voordat ik het publiceer?

Ja. Plak de inhoud in het veld voor robots.txt. De tester gebruikt dan jouw tekst in plaats van het live bestand te downloaden, zodat de eerste regel ook een pad kan zijn.

### Wat als de site geen robots.txt heeft?

Wanneer robots.txt een 4xx-status retourneert, zoals 404, mogen crawlers alles ophalen en meldt de tester dat elke URL is toegestaan. Bij een 5xx-fout behandelt Google de hele site tijdelijk als geblokkeerd; de tester geeft dat ook weer.

### Houdt Disallow een pagina uit de zoekresultaten?

Nee. Disallow stopt het crawlen, niet het indexeren. Een geblokkeerde pagina kan nog steeds in de resultaten verschijnen als andere pagina's ernaar linken, alleen zonder beschrijving. Gebruik een noindex-meta-tag of -header op een crawlbare pagina om die uit de index te houden.

### Waarom wordt Crawl-delay gemarkeerd?

Google negeert de Crawl-delay-directive, terwijl Bing deze respecteert. De tester vermeldt dit zodat u weet dat Googlebot er niet door wordt vertraagd.

### Is er een limiet aan de grootte?

Google leest de eerste 500 KiB van een robots.txt-bestand en negeert de rest. De tester leest dezelfde hoeveelheid en waarschuwt wanneer een bestand langer is.

### Hoeveel URL's kan ik testen?

Maximaal 50 per aanvraag. Het ophalen van de live robots.txt telt als één aanvraag, en elke bezoeker kan een beperkt aantal tests per minuut uitvoeren.

Hier adverteren?

[E-mail ons](mailto:hi@dennn.is?subject=Adverteren%20op%20OneClick%20Pro)

[Advertentie 433 tools voor uw AI-agents via één MCP-server.](https://multitaskai.com/nl/?ref=oneclickpro)
