# Tester Robots.txt

Testați dacă crawlerele motoarelor de căutare pot accesa o pagină conform fișierului robots.txt al unui site. Testerul descarcă robots.txt, selectează grupul pentru user agent-ul ales, precum Googlebot sau Bingbot, și aplică regulile corespunzătoare conform RFC 9309 și Google: câștigă regula cu cea mai lungă potrivire, Allow are prioritate față de Disallow în caz de egalitate, iar caracterele wildcard * și $ sunt acceptate. Puteți, de asemenea, să lipiți propriul robots.txt pentru a testa modificările înainte de a le publica.

## Întrebări frecvente

### Cum folosesc testerul?

Introduceți unul sau mai multe URL-uri, câte unul pe linie. Primul trebuie să fie un URL complet, pentru ca testerul să știe ce fișier robots.txt al site-ului să descarce; rândurile următoare pot conține URL-uri complete de pe același site sau căi precum /admin/. Alegeți user agent-ul și rulați testul.

### Cum este ales grupul de reguli potrivit?

Crawlerele folosesc grupul a cărui linie User-agent corespunde numelui lor, fără a ține cont de majuscule și minuscule. Dacă nu există un grup cu potrivire exactă, testerul folosește cel mai lung nume cu care începe numele crawlerului, de exemplu googlebot pentru Googlebot-Image; în caz contrar, folosește grupul pentru *. Regulile din mai multe grupuri cu același nume sunt reunite.

### Care regulă are prioritate când se potrivesc mai multe?

Cea mai specifică, adică regula cu cel mai lung model de cale. Când o regulă Allow și una Disallow au aceeași lungime, Allow are prioritate. Acesta este comportamentul descris în RFC 9309 și folosit de Google și Bing.

### Sunt acceptate caracterele wildcard?

Da. Un asterisc corespunde oricărei secvențe de caractere, iar un semn dolar la final fixează regula la sfârșitul URL, astfel încât Disallow: /*.pdf$ blochează fiecare URL care se termină în .pdf. Potrivirea ține cont de majuscule și minuscule și include șirul de interogare.

### Pot testa un robots.txt înainte de a-l publica?

Da. Lipiți conținutul său în câmpul robots.txt. Testerul va folosi textul introdus în loc să descarce fișierul activ, astfel că și prima linie poate fi o cale.

### Ce se întâmplă dacă site-ul nu are robots.txt?

Când robots.txt returnează un cod de stare 4xx, precum 404, crawlerele pot accesa tot conținutul, iar testerul raportează fiecare URL ca permis. Când returnează o eroare 5xx, Google tratează întregul site ca blocat pentru o perioadă, iar testerul afișează și acest lucru.

### Împiedică Disallow afișarea unei pagini în rezultatele căutării?

Nu. Disallow oprește crawlarea, nu indexarea. O pagină blocată poate apărea în continuare în rezultate dacă alte pagini trimit linkuri către ea, însă fără o descriere. Folosiți o etichetă meta sau un antet noindex pe o pagină accesibilă crawlerelor pentru a o exclude din index.

### De ce este semnalat Crawl-delay?

Google ignoră directiva Crawl-delay, în timp ce Bing o respectă. Testerul o menționează pentru a ști că aceasta nu încetinește Googlebot.

### Există o limită de dimensiune?

Google citește primii 500 KiB dintr-un fișier robots.txt și ignoră restul. Testerul citește aceeași cantitate și avertizează când un fișier este mai lung.

### Câte URL-uri pot testa?

Până la 50 per solicitare. Preluarea fișierului robots.txt activ contează ca o solicitare, iar fiecare vizitator poate rula un număr limitat de teste pe minut.

Reclama dvs. aici?

[Trimiteți-ne un e-mail](mailto:hi@dennn.is?subject=Publicitate%20pe%20OneClick%20Pro)

[Reclamă 433 de instrumente pentru agenții AI, printr-un singur server MCP.](https://multitaskai.com/ro/?ref=oneclickpro)
