# Vérificateur Robots.txt

Vérifiez si les robots d’exploration des moteurs de recherche peuvent accéder à une page selon le robots.txt d’un site. Le vérificateur télécharge robots.txt, sélectionne le groupe correspondant à l’agent utilisateur choisi, comme Googlebot ou Bingbot, puis applique les règles correspondantes comme le font la RFC 9309 et Google : la règle correspondante la plus longue l’emporte, Allow l’emporte sur Disallow en cas d’égalité, et les caractères génériques * et $ sont pris en charge. Vous pouvez aussi coller votre propre robots.txt pour tester des modifications avant de les publier.

## Foire aux questions

### Comment utiliser le vérificateur ?

Saisissez une ou plusieurs URL, une par ligne. La première doit être une URL complète afin que le vérificateur sache quel robots.txt du site récupérer ; les lignes suivantes peuvent contenir des URL complètes du même site ou des chemins tels que /admin/. Choisissez l’agent utilisateur, puis lancez le test.

### Comment le bon groupe de règles est-il choisi ?

Les robots d’exploration utilisent le groupe dont la ligne User-agent correspond à leur nom, sans tenir compte de la casse. S’il n’existe aucun groupe correspondant exactement, le vérificateur utilise le nom le plus long qui constitue le début du nom du robot, par exemple googlebot pour Googlebot-Image, et sinon le groupe *. Les règles de plusieurs groupes portant le même nom sont combinées.

### Quelle règle l’emporte lorsque plusieurs correspondent ?

La plus spécifique, c’est-à-dire celle dont le motif de chemin est le plus long. Lorsque les règles Allow et Disallow ont la même longueur, Allow l’emporte. C’est le comportement décrit dans la RFC 9309 et utilisé par Google et Bing.

### Les caractères génériques sont-ils pris en charge ?

Oui. Un astérisque correspond à toute séquence de caractères et un signe dollar à la fin ancre la règle à la fin de l’URL ; ainsi, Disallow: /*.pdf$ bloque tous les URL se terminant par .pdf. La correspondance respecte la casse et inclut la chaîne de requête.

### Puis-je tester un robots.txt avant de le publier ?

Oui. Collez son contenu dans le champ robots.txt. Le vérificateur utilise alors votre texte au lieu de télécharger le fichier en ligne ; la première ligne peut donc aussi être un chemin.

### Que se passe-t-il si le site n’a pas de robots.txt ?

Lorsque robots.txt renvoie un statut 4xx, comme 404, les robots d’exploration peuvent tout récupérer et le vérificateur indique que chaque URL est autorisée. Lorsqu’il renvoie une erreur 5xx, Google considère que tout le site est bloqué pendant un certain temps, et le vérificateur le signale également.

### Disallow empêche-t-il une page d’apparaître dans les résultats de recherche ?

Non. Disallow empêche l’exploration, pas l’indexation. Une page bloquée peut tout de même apparaître dans les résultats si d’autres pages y font un lien, mais sans description. Pour l’exclure de l’index, utilisez une balise meta noindex ou un en-tête sur une page accessible aux robots d’exploration.

### Pourquoi Crawl-delay est-il signalé ?

Google ignore la directive Crawl-delay, tandis que Bing la respecte. Le vérificateur la mentionne pour vous indiquer qu’elle ne ralentit pas Googlebot.

### Existe-t-il une limite de taille ?

Google lit les premiers 500 KiB d’un fichier robots.txt et ignore le reste. Le vérificateur lit la même quantité et avertit lorsque le fichier est plus long.

### Combien d’URL puis-je tester ?

Jusqu’à 50 par requête. Récupérer le robots.txt en ligne compte comme une requête, et chaque visiteur peut effectuer un nombre limité de tests par minute.

Votre publicité ici ?

[Envoyez-nous un e-mail](mailto:hi@dennn.is?subject=Publicit%C3%A9%20sur%20OneClick%20Pro)

[Annonce 433 outils pour vos agents IA via un seul serveur MCP.](https://multitaskai.com/fr/?ref=oneclickpro)
