Pereiti prie turinio

Robots.txt tikrintuvas

Patikrinkite, ar paieškos sistemų tikrinimo robotai gali pasiekti puslapį pagal svetainės robots.txt. Tikrintuvas atsisiunčia robots.txt, parenka jūsų nurodytam naudotojo agentui, pavyzdžiui, Googlebot arba Bingbot, skirtą grupę ir pritaiko atitinkančias taisykles taip, kaip tai daro RFC 9309 ir Google: laimi ilgiausiai atitinkanti taisyklė, esant vienodam ilgiui Allow turi pirmenybę prieš Disallow, o pakaitos simboliai * ir $ palaikomi. Taip pat galite įklijuoti savo robots.txt ir išbandyti pakeitimus prieš juos paskelbdami.

Nustatyti iš naujo

Dažnai užduodami klausimai

Kaip naudoti tikrintuvą?

Įveskite vieną ar daugiau URL adresų, po vieną kiekvienoje eilutėje. Pirmasis turi būti visas URL, kad tikrintuvas žinotų, kurios svetainės robots.txt atsisiųsti; tolesnėse eilutėse galima nurodyti tos pačios svetainės visus URL adresus arba kelius, pavyzdžiui, /admin/. Pasirinkite naudotojo agentą ir paleiskite patikrą.

Kaip parenkama tinkama taisyklių grupė?

Tikrintuvai naudoja grupę, kurios User-agent eilutė atitinka jų pavadinimą, nepaisydami didžiųjų ir mažųjų raidžių. Jei tikslios grupės nėra, tikrintuvas naudoja ilgiausią pavadinimą, kuriuo prasideda tikrintuvo pavadinimas, pavyzdžiui, Googlebot-Image atveju googlebot; kitu atveju naudojama grupė, skirta *. Kelių grupių, turinčių tą patį pavadinimą, taisyklės sujungiamos.

Kuri taisyklė laimi, kai tinka kelios?

Konkrečiausia, t. y. taisyklė su ilgiausiu kelio šablonu. Jei Allow ir Disallow taisyklių ilgis vienodas, laimi Allow. Toks veikimas aprašytas RFC 9309 ir taikomas Google bei Bing.

Ar palaikomi pakaitos simboliai?

Taip. Žvaigždutė atitinka bet kokią simbolių seką, o eilutės pabaigoje esantis dolerio ženklas susieja taisyklę su URL pabaiga, todėl Disallow: /*.pdf$ blokuoja visus URL, kurie baigiasi .pdf. Skiriamos didžiosios ir mažosios raidės, o atitikmenų ieškoma ir užklausos eilutėje.

Ar galiu išbandyti robots.txt prieš jį paskelbdamas?

Taip. Įklijuokite jo turinį į lauką robots.txt. Tada tikrintuvas naudoja jūsų tekstą, o ne atsisiunčia svetainėje esantį failą, todėl pirmoje eilutėje taip pat gali būti kelias.

Kas nutinka, jei svetainėje nėra robots.txt?

Kai robots.txt grąžina 4xx būseną, pavyzdžiui, 404, tikrintuvai gali pasiekti viską, o tikrintuvas praneša, kad kiekvienas URL leidžiamas. Kai grąžinama 5xx klaida, Google kuriam laikui laiko visą svetainę užblokuota; tai parodo ir tikrintuvas.

Ar Disallow neleidžia puslapiui patekti į paieškos rezultatus?

Ne. Disallow sustabdo tikrinimą, bet ne indeksavimą. Užblokuotas puslapis vis tiek gali būti rodomas rezultatuose, jei į jį nukreipia kiti puslapiai, tik be aprašo. Kad puslapis nepatektų į indeksą, naudokite noindex meta žymą arba antraštę puslapyje, kurį galima tikrinti.

Kodėl pažymėtas Crawl-delay?

Google nepaiso Crawl-delay direktyvos, o Bing jos laikosi. Tikrintuvas ją pamini, kad žinotumėte, jog ji nesulėtina Googlebot.

Ar yra dydžio apribojimas?

Google nuskaito pirmuosius 500 KiB robots.txt failo ir likusią dalį ignoruoja. Tikrintuvas nuskaito tiek pat ir įspėja, kai failas yra ilgesnis.

Kiek URL galiu patikrinti?

Iki 50 per užklausą. Tiesioginio robots.txt gavimas laikomas viena užklausa, o kiekvienas lankytojas gali atlikti ribotą skaičių patikrinimų per minutę.

Apie OneClick Pro

OneClick Pro – nemokama kolekcija, kurioje yra daugiau nei 150 žiniatinklio įrankių kasdieniam darbui: vaizdams ir vienetams konvertuoti, kodui formatuoti ir tikrinti, domenams ir SEO tikrinti, taip pat tekstui, datoms ir skaičiams apdoroti. Visi įrankiai veikia be registracijos ar prenumeratos, o jūsų įvesti duomenys naudojami tik rezultatui apskaičiuoti ir niekada neišsaugomi. Naudokite juos kaip greitą įrankių rinkinį vienkartinėms užduotims arba įtraukite į žymes įrankius, kurių prireikia kasdien.