Preskoči na vsebino

Preizkuševalnik Robots.txt

Preverite, ali lahko pajki iskalnikov pridobijo stran v skladu z datoteko robots.txt spletnega mesta. Preizkuševalnik prenese robots.txt, izbere skupino za izbrani uporabniški agent, na primer Googlebot ali Bingbot, in uporabi ustrezna pravila, kot to določata RFC 9309 in Google: zmaga najdaljše ujemajoče se pravilo, ob enaki dolžini ima Allow prednost pred Disallow, podprti pa sta tudi nadomestna znaka * in $. Prilepite lahko tudi svoj robots.txt in preizkusite spremembe, preden jih objavite.

Ponastavi

Pogosta vprašanja

Kako uporabljam preizkuševalnik?

Vnesite enega ali več URL-jev, vsakega v svojo vrstico. Prvi mora biti polni URL, da preizkuševalnik ve, katero datoteko robots.txt spletnega mesta naj prenese; naslednje vrstice so lahko polni URL-ji na istem spletnem mestu ali poti, kot je /admin/. Izberite uporabniški agent in zaženite preizkus.

Kako se izbere ustrezna skupina pravil?

Pajki uporabijo skupino, katere vrstica User-agent se ujema z njihovim imenom, pri čemer ne upoštevajo velikosti črk. Če ni natančnega ujemanja skupine, preizkuševalnik uporabi najdaljše ime, s katerim se začne ime pajka, na primer googlebot za Googlebot-Image; sicer uporabi skupino za *. Pravila iz več skupin z enakim imenom se združijo.

Katero pravilo prevlada, ko se jih ujema več?

Najbolj specifično, torej pravilo z najdaljšim vzorcem poti. Če sta pravili Allow in Disallow enako dolgi, zmaga Allow. Tako določa RFC 9309, uporabljata pa ga tudi Google in Bing.

Ali so podprti nadomestni znaki?

Da. Zvezdica se ujema s poljubnim zaporedjem znakov, znak za dolar na koncu pa pravilo veže na konec URL, zato Disallow: /*.pdf$ blokira vsak URL, ki se konča z .pdf. Ujemanje razlikuje med velikimi in malimi črkami ter vključuje poizvedbeni niz.

Ali lahko preizkusim robots.txt, preden ga objavim?

Da. Vsebino prilepite v polje robots.txt. Preizkuševalnik nato uporabi vaše besedilo namesto prenosa datoteke na spletnem mestu, zato je lahko prva vrstica tudi pot.

Kaj če spletno mesto nima datoteke robots.txt?

Če robots.txt vrne status 4xx, na primer 404, lahko pajki pridobijo vse, preizkuševalnik pa vsako URL označi kot dovoljeno. Če vrne napako 5xx, Google za nekaj časa obravnava celotno spletno mesto kot blokirano, kar prikaže tudi preizkuševalnik.

Ali Disallow prepreči prikaz strani med rezultati iskanja?

Ne. Disallow ustavi pregledovanje, ne pa indeksiranja. Blokirana stran se lahko še vedno prikaže med rezultati, če nanjo vodijo povezave z drugih strani, vendar brez opisa. Če želite preprečiti njeno vključitev v indeks, na strani, ki jo je mogoče pregledati, uporabite meta oznako ali glavo noindex.

Zakaj je Crawl-delay označen?

Google ne upošteva direktive Crawl-delay, medtem ko jo Bing upošteva. Preverjevalnik jo omenja, da veste, da ne upočasnjuje Googlebota.

Ali obstaja omejitev velikosti?

Google prebere prvih 500 KiB datoteke robots.txt in preostanek prezre. Preverjevalnik prebere enako količino in opozori, kadar je datoteka daljša.

Koliko URL-jev lahko preverim?

Do 50 na zahtevo. Pridobivanje sprotnega robots.txt šteje kot ena zahteva, vsak obiskovalec pa lahko na minuto izvede omejeno število preverjanj.

O spletnem mestu OneClick Pro

OneClick Pro je brezplačna zbirka z več kot 150 spletnimi orodji za vsakodnevno delo: za pretvarjanje slik in enot, oblikovanje in preverjanje kode, preverjanje domen in SEO ter delo z besedilom, datumi in števili. Vsako orodje deluje brez registracije ali naročnine, vnesene podatke pa uporabimo samo za izračun rezultata in jih nikoli ne shranimo. Zbirko lahko uporabljate kot priročen nabor orodij za posamezna opravila ali si dodate med zaznamke orodja, ki jih uporabljate vsak dan.