Verificador de Robots.txt
Teste se os rastreadores dos mecanismos de pesquisa podem acessar uma página de acordo com o robots.txt de um site. O verificador baixa o robots.txt, seleciona o grupo correspondente ao agente de usuário escolhido, como Googlebot ou Bingbot, e aplica as regras correspondentes conforme RFC 9309 e Google: vence a regra correspondente mais longa, Allow prevalece sobre Disallow em caso de empate, e os curingas * e $ são aceitos. Você também pode colar seu próprio robots.txt para testar alterações antes de publicá-las.
Perguntas frequentes
Como uso o verificador?
Insira uma ou mais URLs, uma por linha. A primeira deve ser um URL completo para que o verificador saiba de qual site buscar o robots.txt; as linhas seguintes podem conter URLs completas do mesmo site ou caminhos, como /admin/. Escolha o agente de usuário e execute o teste.
Como o grupo correto de regras é escolhido?
Os rastreadores usam o grupo cuja linha User-agent corresponde ao nome deles, sem diferenciar maiúsculas de minúsculas. Se não houver um grupo exato, o verificador usa o nome mais longo pelo qual o nome do rastreador começa, por exemplo googlebot para Googlebot-Image; caso contrário, usa o grupo de *. Regras de vários grupos com o mesmo nome são combinadas.
Qual regra prevalece quando várias correspondem?
A mais específica, ou seja, a regra com o padrão de caminho mais longo. Quando as regras Allow e Disallow têm o mesmo comprimento, Allow prevalece. Esse é o comportamento descrito na RFC 9309 e usado por Google e pelo Bing.
Os curingas são aceitos?
Sim. Um asterisco corresponde a qualquer sequência de caracteres e um cifrão no final ancora a regra ao fim do URL, então Disallow: /*.pdf$ bloqueia todo URL que termine em .pdf. A correspondência diferencia maiúsculas de minúsculas e inclui a string de consulta.
Posso testar um robots.txt antes de publicá-lo?
Sim. Cole o conteúdo no campo robots.txt. O verificador usa o texto fornecido em vez de baixar o arquivo publicado, então a primeira linha também pode ser um caminho.
E se o site não tiver robots.txt?
Quando robots.txt retorna um status 4xx, como 404, os rastreadores podem acessar tudo, e o verificador informa cada URL como permitido. Quando retorna um erro 5xx, Google trata o site inteiro como bloqueado por algum tempo, e o verificador também mostra isso.
Disallow impede que uma página apareça nos resultados de pesquisa?
Não. Disallow impede o rastreamento, não a indexação. Uma página bloqueada ainda pode aparecer nos resultados se outras páginas tiverem links para ela, mas sem uma descrição. Use uma tag meta ou um cabeçalho noindex em uma página rastreável para removê-la do índice.
Por que Crawl-delay é sinalizado?
Google ignora a diretiva Crawl-delay, enquanto o Bing a respeita. O validador a menciona para que você saiba que ela não deixa o Googlebot mais lento.
Existe um limite de tamanho?
Google lê os primeiros 500 KiB de um arquivo robots.txt e ignora o restante. O validador lê a mesma quantidade e avisa quando um arquivo é maior.
Quantas URLs posso testar?
Até 50 por solicitação. Buscar o robots.txt ativo conta como uma solicitação, e cada visitante pode executar um número limitado de testes por minuto.