# Comprobador de Robots.txt

Compruebe si los rastreadores de motores de búsqueda pueden acceder a una página según el robots.txt de un sitio. El comprobador descarga robots.txt, elige el grupo correspondiente al agente de usuario que seleccione, como Googlebot o Bingbot, y aplica las reglas coincidentes tal como lo hacen RFC 9309 y Google: gana la regla coincidente más larga, Allow prevalece sobre Disallow en caso de empate y se admiten los comodines * y $. También puede pegar su propio robots.txt para probar cambios antes de publicarlos.

## Preguntas frecuentes

### ¿Cómo se usa el comprobador?

Introduzca una o más URL, una por línea. La primera debe ser una URL completa para que el comprobador sepa qué robots.txt del sitio descargar; las siguientes líneas pueden ser URL completas del mismo sitio o rutas como /admin/. Seleccione el agente de usuario y ejecute la prueba.

### ¿Cómo se elige el grupo de reglas correcto?

Los rastreadores usan el grupo cuya línea User-agent coincide con su nombre, sin distinguir mayúsculas de minúsculas. Si no hay un grupo exacto, el comprobador usa el nombre más largo con el que empieza el nombre del rastreador, por ejemplo, googlebot para Googlebot-Image; de lo contrario, usa el grupo de *. Las reglas de varios grupos con el mismo nombre se combinan.

### ¿Qué regla prevalece cuando coinciden varias?

La más específica, es decir, la regla con el patrón de ruta más largo. Cuando una regla Allow y una Disallow tienen la misma longitud, prevalece Allow. Este es el comportamiento descrito en RFC 9309 y utilizado por Google y Bing.

### ¿Se admiten comodines?

Sí. Un asterisco coincide con cualquier secuencia de caracteres y un signo de dólar al final ancla la regla al final de la URL, por lo que Disallow: /*.pdf$ bloquea todos los URL que terminan en .pdf. La coincidencia distingue entre mayúsculas y minúsculas e incluye la cadena de consulta.

### ¿Puedo probar un robots.txt antes de publicarlo?

Sí. Pegue su contenido en el campo robots.txt. El comprobador usa entonces el texto que haya pegado en lugar de descargar el archivo publicado, así que la primera línea también puede ser una ruta.

### ¿Qué ocurre si el sitio no tiene robots.txt?

Cuando robots.txt devuelve un estado 4xx como 404, los rastreadores pueden acceder a todo y el comprobador indica que cada URL está permitido. Cuando devuelve un error 5xx, Google considera bloqueado todo el sitio durante un tiempo, y el comprobador también lo muestra.

### ¿Disallow impide que una página aparezca en los resultados de búsqueda?

No. Disallow impide el rastreo, no la indexación. Una página bloqueada aún puede aparecer en los resultados si otras páginas enlazan a ella, aunque sin descripción. Use una etiqueta meta noindex o una cabecera en una página rastreable para excluirla del índice.

### ¿Por qué se marca Crawl-delay?

Google ignora la directiva Crawl-delay, mientras que Bing la respeta. El comprobador la menciona para que sepa que no ralentiza a Googlebot.

### ¿Hay un límite de tamaño?

Google lee los primeros 500 KiB de un archivo robots.txt e ignora el resto. El comprobador lee la misma cantidad y avisa cuando un archivo es más largo.

### ¿Cuántas URL puedo probar?

Hasta 50 por solicitud. Obtener el robots.txt activo cuenta como una solicitud, y cada visitante puede realizar un número limitado de pruebas por minuto.

¿Su anuncio aquí?

[Envíenos un correo](mailto:hi@dennn.is?subject=Publicidad%20en%20OneClick%20Pro)

[Anuncio 433 herramientas para sus agentes de IA a través de un único servidor MCP.](https://multitaskai.com/es/?ref=oneclickpro)
