Vai al contenuto

Verificatore Robots.txt

Verificate se i crawler dei motori di ricerca possono recuperare una pagina in base al robots.txt di un sito. Il verificatore scarica robots.txt, seleziona il gruppo corrispondente allo user agent scelto, ad esempio Googlebot o Bingbot, e applica le regole corrispondenti come previsto da RFC 9309 e Google: prevale la regola corrispondente più lunga, Allow prevale su Disallow in caso di parità e sono supportati i caratteri jolly * e $. Potete anche incollare il vostro robots.txt per provare le modifiche prima di pubblicarle.

Reimposta

Domande frequenti

Come si usa il verificatore?

Inserite uno o più URL, uno per riga. Il primo deve essere un URL completo, così il verificatore sa quale robots.txt del sito recuperare; le righe successive possono contenere URL completi dello stesso sito o percorsi come /admin/. Scegliete lo user agent e avviate la verifica.

Come viene scelto il gruppo di regole corretto?

I crawler usano il gruppo la cui riga User-agent corrisponde al loro nome, ignorando maiuscole e minuscole. Se non esiste un gruppo esatto, il verificatore usa il nome più lungo con cui inizia il nome del crawler, ad esempio googlebot per Googlebot-Image; altrimenti usa il gruppo per *. Le regole di più gruppi con lo stesso nome vengono combinate.

Quale regola prevale quando più regole corrispondono?

Quella più specifica, cioè la regola con il modello di percorso più lungo. Se una regola Allow e una Disallow hanno la stessa lunghezza, prevale Allow. È il comportamento descritto in RFC 9309 e utilizzato da Google e Bing.

Sono supportati i caratteri jolly?

Sì. Un asterisco corrisponde a qualsiasi sequenza di caratteri e un simbolo del dollaro alla fine ancora la regola alla fine dell'URL, quindi Disallow: /*.pdf$ blocca ogni URL che termina con .pdf. La corrispondenza distingue tra maiuscole e minuscole e include la stringa di query.

Posso verificare un robots.txt prima di pubblicarlo?

Sì. Incollatene il contenuto nel campo robots.txt. Il verificatore usa quindi il testo inserito invece di scaricare il file pubblicato, quindi la prima riga può contenere anche un percorso.

Cosa succede se il sito non ha un robots.txt?

Quando robots.txt restituisce uno stato 4xx, come 404, i crawler possono recuperare tutto e il verificatore segnala ogni URL come consentito. Quando restituisce un errore 5xx, Google considera l'intero sito bloccato per un po' e il verificatore lo segnala.

Disallow impedisce a una pagina di apparire nei risultati di ricerca?

No. Disallow impedisce la scansione, non l'indicizzazione. Una pagina bloccata può comunque apparire nei risultati se altre pagine la linkano, ma senza descrizione. Per escluderla dall'indice, usate un tag meta o un'intestazione noindex su una pagina accessibile ai crawler.

Perché Crawl-delay viene segnalato?

Google ignora la direttiva Crawl-delay, mentre Bing la rispetta. Il tester la menziona per farvi sapere che non rallenta Googlebot.

C'è un limite alle dimensioni?

Google legge i primi 500 KiB di un file robots.txt e ignora il resto. Il tester legge la stessa quantità e avvisa quando un file è più lungo.

Quanti URL posso testare?

Fino a 50 per richiesta. Recuperare il file robots.txt online conta come una richiesta, e ogni visitatore può eseguire un numero limitato di test al minuto.

Informazioni su OneClick Pro

OneClick Pro è una raccolta gratuita di oltre 150 strumenti web per le attività quotidiane: convertire immagini e unità di misura, formattare e convalidare codice, controllare domini e SEO, lavorare con testi, date e numeri. Ogni strumento funziona senza registrazione né abbonamento; i dati inseriti vengono usati solo per calcolare il risultato e non vengono mai salvati. Usatelo come cassetta degli attrezzi per attività occasionali oppure aggiungete ai preferiti gli strumenti che usate ogni giorno.