Treci la conținut

Tester Robots.txt

Testați dacă crawlerele motoarelor de căutare pot accesa o pagină conform fișierului robots.txt al unui site. Testerul descarcă robots.txt, selectează grupul pentru user agent-ul ales, precum Googlebot sau Bingbot, și aplică regulile corespunzătoare conform RFC 9309 și Google: câștigă regula cu cea mai lungă potrivire, Allow are prioritate față de Disallow în caz de egalitate, iar caracterele wildcard * și $ sunt acceptate. Puteți, de asemenea, să lipiți propriul robots.txt pentru a testa modificările înainte de a le publica.

Resetează

Întrebări frecvente

Cum folosesc testerul?

Introduceți unul sau mai multe URL-uri, câte unul pe linie. Primul trebuie să fie un URL complet, pentru ca testerul să știe ce fișier robots.txt al site-ului să descarce; rândurile următoare pot conține URL-uri complete de pe același site sau căi precum /admin/. Alegeți user agent-ul și rulați testul.

Cum este ales grupul de reguli potrivit?

Crawlerele folosesc grupul a cărui linie User-agent corespunde numelui lor, fără a ține cont de majuscule și minuscule. Dacă nu există un grup cu potrivire exactă, testerul folosește cel mai lung nume cu care începe numele crawlerului, de exemplu googlebot pentru Googlebot-Image; în caz contrar, folosește grupul pentru *. Regulile din mai multe grupuri cu același nume sunt reunite.

Care regulă are prioritate când se potrivesc mai multe?

Cea mai specifică, adică regula cu cel mai lung model de cale. Când o regulă Allow și una Disallow au aceeași lungime, Allow are prioritate. Acesta este comportamentul descris în RFC 9309 și folosit de Google și Bing.

Sunt acceptate caracterele wildcard?

Da. Un asterisc corespunde oricărei secvențe de caractere, iar un semn dolar la final fixează regula la sfârșitul URL, astfel încât Disallow: /*.pdf$ blochează fiecare URL care se termină în .pdf. Potrivirea ține cont de majuscule și minuscule și include șirul de interogare.

Pot testa un robots.txt înainte de a-l publica?

Da. Lipiți conținutul său în câmpul robots.txt. Testerul va folosi textul introdus în loc să descarce fișierul activ, astfel că și prima linie poate fi o cale.

Ce se întâmplă dacă site-ul nu are robots.txt?

Când robots.txt returnează un cod de stare 4xx, precum 404, crawlerele pot accesa tot conținutul, iar testerul raportează fiecare URL ca permis. Când returnează o eroare 5xx, Google tratează întregul site ca blocat pentru o perioadă, iar testerul afișează și acest lucru.

Împiedică Disallow afișarea unei pagini în rezultatele căutării?

Nu. Disallow oprește crawlarea, nu indexarea. O pagină blocată poate apărea în continuare în rezultate dacă alte pagini trimit linkuri către ea, însă fără o descriere. Folosiți o etichetă meta sau un antet noindex pe o pagină accesibilă crawlerelor pentru a o exclude din index.

De ce este semnalat Crawl-delay?

Google ignoră directiva Crawl-delay, în timp ce Bing o respectă. Testerul o menționează pentru a ști că aceasta nu încetinește Googlebot.

Există o limită de dimensiune?

Google citește primii 500 KiB dintr-un fișier robots.txt și ignoră restul. Testerul citește aceeași cantitate și avertizează când un fișier este mai lung.

Câte URL-uri pot testa?

Până la 50 per solicitare. Preluarea fișierului robots.txt activ contează ca o solicitare, iar fiecare vizitator poate rula un număr limitat de teste pe minut.

Despre OneClick Pro

OneClick Pro este o colecție gratuită de peste 150 de instrumente web pentru activitățile de zi cu zi: conversia imaginilor și unităților, formatarea și validarea codului, verificarea domeniilor și a SEO, precum și lucrul cu text, date și numere. Fiecare instrument funcționează fără înregistrare sau abonament, iar ceea ce introduceți este folosit doar pentru a calcula rezultatul și nu este stocat niciodată. Folosiți colecția ca trusă de instrumente rapidă pentru sarcini ocazionale sau salvați în marcaje instrumentele pe care le utilizați în fiecare zi.