Robots.txt-testaaja
Testaa, voivatko hakukoneiden indeksoijat noutaa sivun sivuston robots.txt-tiedoston perusteella. Testaaja lataa tiedoston robots.txt, valitsee valitsemasi käyttäjäagentin ryhmän, esimerkiksi Googlebotin tai Bingbotin, ja soveltaa vastaavia sääntöjä RFC:n 9309 ja Google mukaisesti: pisin täsmäävä sääntö voittaa, tasatilanteessa Allow voittaa Disallow-säännön, ja jokerimerkit * ja $ ovat tuettuja. Voit myös liittää oman robots.txt-tiedostosi ja kokeilla muutoksia ennen niiden julkaisemista.
Usein kysytyt kysymykset
Miten testaajaa käytetään?
Syötä yksi tai useampi URL-osoite, yksi kullekin riville. Ensimmäisen on oltava täydellinen URL-osoite, jotta testaaja tietää, minkä sivuston robots.txt-tiedosto noudetaan. Seuraavilla riveillä voi olla saman sivuston täydellisiä URL-osoitteita tai polkuja, kuten /admin/. Valitse käyttäjäagentti ja suorita testi.
Miten oikea sääntöryhmä valitaan?
Indeksoijat käyttävät ryhmää, jonka User-agent-rivi vastaa niiden nimeä kirjainkoosta riippumatta. Jos täsmällistä ryhmää ei ole, testaaja käyttää pisintä nimeä, jonka alkuun indeksoijan nimi täsmää, esimerkiksi googlebotia Googlebot-Imagelle. Muussa tapauksessa käytetään *-ryhmää. Saman nimisten ryhmien säännöt yhdistetään.
Mikä sääntö voittaa, jos useita sääntöjä täsmää?
Tarkempi sääntö eli se, jonka polkukaava on pisin. Jos Allow- ja Disallow-sääntö ovat yhtä pitkiä, Allow voittaa. Näin kuvataan RFC:ssä 9309, ja näin toimivat Google ja Bing.
Tuetaanko jokerimerkkejä?
Kyllä. Tähti vastaa mitä tahansa merkkijonoa, ja lopussa oleva dollarimerkki ankkuroi säännön URL-osoitteen loppuun. Siksi Disallow: /*.pdf$ estää kaikki URL-osoitteet, jotka päättyvät .pdf-päätteeseen. Kirjainkoolla on merkitystä, ja täsmäytyksessä huomioidaan myös kyselymerkkijono.
Voinko testata robots.txt-tiedoston ennen sen julkaisemista?
Kyllä. Liitä sen sisältö robots.txt-kenttään. Testaaja käyttää sitten tekstiäsi ladatun tiedoston sijaan, joten myös ensimmäinen rivi voi olla polku.
Entä jos sivustolla ei ole robots.txt-tiedostoa?
Kun robots.txt palauttaa 4xx-tilakoodin, kuten 404, indeksoijat voivat noutaa kaiken, ja testaaja ilmoittaa jokaisen URL-osoitteen sallituksi. Kun tiedosto palauttaa 5xx-virheen, Google käsittelee koko sivustoa estettynä jonkin aikaa, ja testaaja näyttää tämänkin.
Estääkö Disallow-sääntö sivun näkymisen hakutuloksissa?
Ei. Disallow estää indeksoinnin, ei lisäämistä hakemistoon. Estetty sivu voi silti näkyä hakutuloksissa, jos muut sivut linkittävät siihen, mutta ilman kuvausta. Estä sivun pääsy hakemistoon lisäämällä crawlattavalle sivulle noindex-metatunniste tai -otsake.
Miksi Crawl-delay merkitään?
Google ei huomioi Crawl-delay-direktiiviä, kun taas Bing noudattaa sitä. Testaaja mainitsee sen, jotta tiedät, ettei se hidasta Googlebotia.
Onko koolla ylärajaa?
Google lukee robots.txt-tiedoston ensimmäiset 500 KiB ja ohittaa loput. Testaaja lukee saman määrän ja varoittaa, jos tiedosto on pidempi.
Kuinka monta URL-osoitetta voin testata?
Enintään 50 pyyntöä kohden. Live-robots.txt-tiedoston hakeminen lasketaan yhdeksi pyynnöksi, ja kukin kävijä voi suorittaa vain rajallisen määrän testejä minuutissa.