Přejít k obsahu

Testovač Robots.txt

Otestujte, zda mohou roboti vyhledávačů načíst stránku podle souboru robots.txt daného webu. Testovač stáhne robots.txt, vybere skupinu pro zvoleného uživatelského agenta, například Googlebot nebo Bingbot, a použije odpovídající pravidla podle RFC 9309 a Google: vyhrává nejdelší odpovídající pravidlo, při shodě má Allow přednost před Disallow a podporují se zástupné znaky * a $. Můžete také vložit vlastní robots.txt a vyzkoušet změny před jejich zveřejněním.

Obnovit

Často kladené otázky

Jak testovač používat?

Zadejte jednu nebo více URL, každou na samostatný řádek. První musí být úplná adresa URL, aby testovač věděl, který soubor robots.txt daného webu má načíst; následující řádky mohou obsahovat úplné URL na stejném webu nebo cesty, například /admin/. Vyberte uživatelského agenta a spusťte test.

Jak se vybere správná skupina pravidel?

Roboti používají skupinu, jejíž řádek User-agent odpovídá jejich názvu bez ohledu na velikost písmen. Pokud neexistuje přesná skupina, testovač použije skupinu s nejdelším názvem, kterým název robota začíná, například googlebot pro Googlebot-Image; jinak použije skupinu pro *. Pravidla z několika skupin se stejným názvem se spojí.

Které pravidlo platí, když odpovídá několik pravidel?

To nejkonkrétnější, tedy pravidlo s nejdelším vzorem cesty. Pokud mají pravidla Allow a Disallow stejnou délku, přednost má Allow. Toto chování popisuje RFC 9309 a používají je Google a Bing.

Podporují se zástupné znaky?

Ano. Hvězdička odpovídá libovolné posloupnosti znaků a znak dolaru na konci ukotví pravidlo ke konci URL, takže Disallow: /*.pdf$ blokuje každé URL končící na .pdf. Rozlišují se malá a velká písmena a zohledňuje se i řetězec dotazu.

Mohu před zveřejněním otestovat robots.txt?

Ano. Vložte jeho obsah do pole robots.txt. Testovač pak použije váš text místo stažení aktuálního souboru, takže první řádek může být také cesta.

Co když web nemá robots.txt?

Pokud robots.txt vrátí stav 4xx, například 404, mohou roboti načíst vše a testovač označí každý URL jako povolený. Pokud vrátí chybu 5xx, Google považuje na určitou dobu celý web za blokovaný a testovač to také zobrazí.

Zabrání Disallow zobrazení stránky ve výsledcích vyhledávání?

Ne. Disallow zastaví procházení, nikoli indexování. Blokovaná stránka se může ve výsledcích stále zobrazovat, pokud na ni odkazují jiné stránky, pouze bez popisu. Chcete-li ji vyřadit z indexu, použijte na stránce, kterou lze procházet, značku meta nebo hlavičku noindex.

Proč je Crawl-delay označeno?

Google ignoruje direktivu Crawl-delay, zatímco Bing ji respektuje. Tester ji uvádí, abyste věděli, že Googlebot nezpomaluje.

Existuje omezení velikosti?

Google čte prvních 500 KiB souboru robots.txt a zbytek ignoruje. Tester čte stejné množství a upozorní, když je soubor delší.

Kolik adres URL mohu otestovat?

Až 50 v jedné žádosti. Načtení živého robots.txt se počítá jako jedna žádost a každý návštěvník může za minutu spustit omezený počet testů.

O OneClick Pro

OneClick Pro je bezplatná kolekce více než 150 webových nástrojů pro každodenní práci: převod obrázků a jednotek, formátování a ověřování kódu, kontrolu domén a SEO i práci s textem, daty a čísly. Každý nástroj funguje bez registrace či předplatného a zadané údaje se používají pouze k výpočtu výsledku a nikdy se neukládají. Používejte ji jako rychlou sadu nástrojů pro jednorázové úkoly nebo si uložte do záložek nástroje, na které se každý den spoléháte.