Robots.txt-i tester
Kontrollige, kas otsingumootorite robotid võivad saidi robots.txt-i alusel lehe alla laadida. Tester laadib alla faili robots.txt, valib teie määratud kasutajaagendi rühma, näiteks Googleboti või Bingboti oma, ning rakendab vastavaid reegleid nii, nagu seda teevad RFC 9309 ja Google: võidab pikim sobiv reegel, võrdse pikkuse korral eelistatakse Allow-reeglit ning toetatud on metamärgid * ja $. Enne muudatuste avaldamist saate nende proovimiseks kleepida ka oma robots.txt-i.
Korduma kippuvad küsimused
Kuidas testerit kasutada?
Sisestage üks või mitu URL-i, igaüks oma reale. Esimene peab olema täielik URL, et tester teaks, millise saidi robots.txt-i alla laadida; järgnevad read võivad sisaldada sama saidi täielikke URL-e või teid, näiteks /admin/. Valige kasutajaagent ja käivitage test.
Kuidas valitakse õige reeglite rühm?
Robotid kasutavad rühma, mille User-agent-rida vastab nende nimele, tõstutundetult. Kui täpset rühma pole, kasutab tester pikimat nime, millega roboti nimi algab, näiteks googleboti rühma Googlebot-Image'i puhul; muul juhul kasutatakse *-rühma. Mitme sama nimega rühma reeglid liidetakse.
Milline reegel võidab, kui mitu reeglit sobivad?
Kõige täpsem reegel ehk see, mille teekonnamuster on pikim. Kui Allow- ja Disallow-reegel on ühepikkused, võidab Allow. Selline käitumine on kirjeldatud RFC-s 9309 ning seda kasutavad Google ja Bing.
Kas metamärke toetatakse?
Jah. Tärn vastab mis tahes märgijadale ning lõpus olev dollarimärk ankurdab reegli URL lõppu. Seega blokeerib Disallow: /*.pdf$ kõik URL-id, mis lõpevad .pdf-iga. Suur- ja väiketähti eristatakse ning arvesse võetakse ka päringustring.
Kas saan robots.txt-i enne avaldamist testida?
Jah. Kleepige selle sisu väljale robots.txt. Seejärel kasutab tester allalaaditud aktiivse faili asemel teie teksti, seega võib ka esimene rida olla tee.
Mis siis, kui saidil pole robots.txt-i?
Kui robots.txt vastab 4xx-olekukoodiga, näiteks 404-ga, võivad robotid kõik alla laadida ning tester märgib iga URL-i lubatuks. Kui vastuseks on 5xx-viga, käsitleb Google mõnda aega kogu saiti blokeerituna ning tester kuvab ka selle.
Kas Disallow takistab lehe ilmumist otsingutulemustes?
Ei. Disallow peatab roomamise, mitte indekseerimise. Blokeeritud leht võib tulemustes siiski ilmuda, kui sellele viitavad teised lehed, kuid ilma kirjelduseta. Indeksist eemaldamiseks kasutage roomataval lehel noindex-meta-silti või -päist.
Miks on Crawl-delay märgitud?
Google eirab Crawl-delay direktiivi, samal ajal kui Bing järgib seda. Tester mainib seda, et teaksite: see ei aeglusta Googleboti.
Kas suurusel on piirang?
Google loeb robots.txt faili esimesed 500 KiB ja eirab ülejäänut. Tester loeb sama palju ning annab märku, kui fail on pikem.
Mitut URL-i saan testida?
Kuni 50 päringu kohta. Reaalajas robots.txt hankimine loetakse üheks päringuks ning iga külastaja saab teha piiratud arvu teste minutis.