Robots.txt pārbaudītājs
Pārbaudiet, vai meklētājprogrammu roboti drīkst ielādēt lapu saskaņā ar vietnes robots.txt. Pārbaudītājs lejupielādē robots.txt, atlasa grupu jūsu izvēlētajam User-Agent, piemēram, Googlebot vai Bingbot, un piemēro atbilstošos noteikumus atbilstoši RFC 9309 un Google: uzvar garākais atbilstošais noteikums, vienāda garuma gadījumā Allow ir svarīgāks par Disallow, un tiek atbalstītas aizstājējzīmes * un $. Varat arī ielīmēt savu robots.txt, lai izmēģinātu izmaiņas pirms to publicēšanas.
Bieži uzdotie jautājumi
Kā izmantot pārbaudītāju?
Ievadiet vienu vai vairākus URL, katru jaunā rindā. Pirmajam jābūt pilnam URL, lai pārbaudītājs zinātu, kuras vietnes robots.txt lejupielādēt; nākamajās rindās var ievadīt pilnus URL tajā pašā vietnē vai ceļus, piemēram, /admin/. Izvēlieties User-Agent un sāciet pārbaudi.
Kā tiek izvēlēta pareizā noteikumu grupa?
Pārmeklēšanas roboti izmanto grupu, kuras User-agent rinda atbilst to nosaukumam, neņemot vērā reģistru. Ja precīzas grupas nav, pārbaudītājs izmanto grupu ar garāko nosaukumu, ar kuru sākas robota nosaukums, piemēram, googlebot grupu, ja robots ir Googlebot-Image. Ja tādas grupas nav, tiek izmantota grupa ar *. Vairāku grupu noteikumi ar vienādu nosaukumu tiek apvienoti.
Kurš noteikums uzvar, ja atbilst vairāki?
Visprecīzākais, tas ir, noteikums ar garāko ceļa rakstu. Ja Allow un Disallow noteikumi ir vienāda garuma, uzvar Allow. Šāda darbība aprakstīta RFC 9309 un to izmanto Google un Bing.
Vai tiek atbalstītas aizstājējzīmes?
Jā. Zvaigznīte atbilst jebkurai rakstzīmju virknei, bet dolāra zīme beigās piesaista noteikumu URL beigām, tāpēc Disallow: /*.pdf$ bloķē ikvienu URL, kas beidzas ar .pdf. Reģistrs tiek ņemts vērā, un atbilstība ietver arī vaicājuma virkni.
Vai varu pārbaudīt robots.txt pirms tā publicēšanas?
Jā. Ielīmējiet tā saturu laukā robots.txt. Pārbaudītājs lejupielādēs jūsu ievadīto tekstu, nevis aktuālo failu, tāpēc arī pirmajā rindā var ievadīt ceļu.
Ko darīt, ja vietnei nav robots.txt?
Ja robots.txt atgriež 4xx statusu, piemēram, 404, pārmeklēšanas roboti var ielādēt visu, un pārbaudītājs uzrāda, ka katrs URL ir atļauts. Ja tas atgriež 5xx kļūdu, Google uz laiku uzskata, ka visa vietne ir bloķēta, un pārbaudītājs to arī parāda.
Vai Disallow neļauj lapai parādīties meklēšanas rezultātos?
Nē. Disallow aptur pārmeklēšanu, nevis indeksēšanu. Bloķēta lapa joprojām var parādīties rezultātos, ja uz to ved saites no citām lapām, taču bez apraksta. Lai izslēgtu lapu no indeksa, izmantojiet noindex meta tagu vai galveni lapā, kuru drīkst pārmeklēt.
Kāpēc Crawl-delay tiek atzīmēts?
Google ignorē Crawl-delay direktīvu, bet Bing to ievēro. Testētājs to piemin, lai jūs zinātu, ka tas nepalēnina Googlebot darbību.
Vai ir izmēra ierobežojums?
Google nolasa pirmos 500 KiB no robots.txt faila un pārējo ignorē. Testētājs nolasa tikpat daudz un brīdina, ja fails ir garāks.
Cik URL varu pārbaudīt?
Līdz 50 vienā pieprasījumā. Aktīvā robots.txt izgūšana tiek skaitīta kā viens pieprasījums, un katrs apmeklētājs minūtē var veikt ierobežotu skaitu pārbaužu.