Robots.txt-tesztelő
Tesztelje, hogy a keresőmotorok feltérképezőrobotjai lekérhetnek-e egy oldalt a webhely robots.txt fájlja alapján. A tesztelő letölti a robots.txt fájlt, kiválasztja az Ön által megadott felhasználói ügynökhöz, például a Googlebothoz vagy a Bingbothoz tartozó csoportot, majd az RFC 9309 és az Google működésének megfelelően alkalmazza a szabályokat: a leghosszabb egyező szabály érvényesül, az Allow azonos hosszúság esetén megelőzi a Disallow-t, és a * és $ helyettesítő karakterek is használhatók. Beillesztheti a saját robots.txt fájlját is, hogy élesítés előtt kipróbálja a módosításokat.
Gyakran ismételt kérdések
Hogyan használhatom a tesztelőt?
Adjon meg egy vagy több URL-t, soronként egyet. Az elsőnek teljes URL-nek kell lennie, hogy a tesztelő tudja, melyik webhely robots.txt fájlját kell lekérnie; a további sorokban a webhely teljes URL-jei vagy útvonalai szerepelhetnek, például /admin/. Válassza ki a felhasználói ügynököt, majd futtassa a tesztet.
Hogyan választja ki a megfelelő szabálycsoportot?
A feltérképezőrobotok azt a csoportot használják, amelynek User-agent sora kis- és nagybetűtől függetlenül egyezik a nevükkel. Ha nincs pontos egyezésű csoport, a tesztelő a leghosszabb olyan nevet használja, amellyel a robot neve kezdődik, például a googlebot csoportot a Googlebot-Image esetén; egyébként a * csoportot használja. Az azonos nevű csoportok szabályai összeadódnak.
Ha több szabály is egyezik, melyik érvényesül?
A legspecifikusabb, vagyis a leghosszabb útvonalmintát tartalmazó szabály. Ha egy Allow és egy Disallow szabály azonos hosszúságú, az Allow érvényesül. Ez az RFC 9309 által leírt, valamint az Google és a Bing által alkalmazott működés.
Támogatottak a helyettesítő karakterek?
Igen. A csillag tetszőleges karaktersorozattal egyezik, a végén álló dollárjel pedig a szabályt az URL végéhez rögzíti, így a Disallow: /*.pdf$ minden .pdf végű URL-t blokkol. Az egyezés kis- és nagybetűérzékeny, és a lekérdezési karakterláncot is figyelembe veszi.
Tesztelhetek egy robots.txt fájlt élesítés előtt?
Igen. Illessze be a tartalmát a robots.txt mezőbe. A tesztelő ezután a szöveget használja az éles fájl letöltése helyett, így az első sorban útvonal is szerepelhet.
Mi történik, ha a webhelynek nincs robots.txt fájlja?
Ha az robots.txt 4xx állapotkóddal, például 404-mel válaszol, a feltérképezőrobotok mindent lekérhetnek, a tesztelő pedig minden URL-t engedélyezettnek jelöl. Ha 5xx hibával válaszol, az Google egy ideig az egész webhelyet blokkoltnak tekinti; ezt a tesztelő is jelzi.
A Disallow kizárja az oldalt a keresési találatokból?
Nem. A Disallow a feltérképezést akadályozza, nem az indexelést. Egy blokkolt oldal továbbra is megjelenhet a találatok között, ha más oldalak hivatkoznak rá, de leírás nélkül. Ha ki szeretné zárni az indexből, használjon noindex meta címkét vagy fejlécet egy feltérképezhető oldalon.
Miért van megjelölve a Crawl-delay?
A Google figyelmen kívül hagyja a Crawl-delay direktívát, míg a Bing figyelembe veszi. Az ellenőrző megemlíti ezt, hogy tudja: nem lassítja le a Googlebotot.
Van méretkorlát?
A Google egy robots.txt fájl első 500 KiB-nyi részét olvassa be, a többit pedig figyelmen kívül hagyja. Az ellenőrző ugyanennyi adatot olvas be, és figyelmeztet, ha a fájl ennél hosszabb.
Hány URL-t tesztelhetek?
Kérésenként legfeljebb 50-et. Az élő robots.txt lekérése egy kérésnek számít, és minden látogató percenként csak korlátozott számú tesztet futtathat.