# Testovač Robots.txt

Otestujte, zda mohou roboti vyhledávačů načíst stránku podle souboru robots.txt daného webu. Testovač stáhne robots.txt, vybere skupinu pro zvoleného uživatelského agenta, například Googlebot nebo Bingbot, a použije odpovídající pravidla podle RFC 9309 a Google: vyhrává nejdelší odpovídající pravidlo, při shodě má Allow přednost před Disallow a podporují se zástupné znaky * a $. Můžete také vložit vlastní robots.txt a vyzkoušet změny před jejich zveřejněním.

## Často kladené otázky

### Jak testovač používat?

Zadejte jednu nebo více URL, každou na samostatný řádek. První musí být úplná adresa URL, aby testovač věděl, který soubor robots.txt daného webu má načíst; následující řádky mohou obsahovat úplné URL na stejném webu nebo cesty, například /admin/. Vyberte uživatelského agenta a spusťte test.

### Jak se vybere správná skupina pravidel?

Roboti používají skupinu, jejíž řádek User-agent odpovídá jejich názvu bez ohledu na velikost písmen. Pokud neexistuje přesná skupina, testovač použije skupinu s nejdelším názvem, kterým název robota začíná, například googlebot pro Googlebot-Image; jinak použije skupinu pro *. Pravidla z několika skupin se stejným názvem se spojí.

### Které pravidlo platí, když odpovídá několik pravidel?

To nejkonkrétnější, tedy pravidlo s nejdelším vzorem cesty. Pokud mají pravidla Allow a Disallow stejnou délku, přednost má Allow. Toto chování popisuje RFC 9309 a používají je Google a Bing.

### Podporují se zástupné znaky?

Ano. Hvězdička odpovídá libovolné posloupnosti znaků a znak dolaru na konci ukotví pravidlo ke konci URL, takže Disallow: /*.pdf$ blokuje každé URL končící na .pdf. Rozlišují se malá a velká písmena a zohledňuje se i řetězec dotazu.

### Mohu před zveřejněním otestovat robots.txt?

Ano. Vložte jeho obsah do pole robots.txt. Testovač pak použije váš text místo stažení aktuálního souboru, takže první řádek může být také cesta.

### Co když web nemá robots.txt?

Pokud robots.txt vrátí stav 4xx, například 404, mohou roboti načíst vše a testovač označí každý URL jako povolený. Pokud vrátí chybu 5xx, Google považuje na určitou dobu celý web za blokovaný a testovač to také zobrazí.

### Zabrání Disallow zobrazení stránky ve výsledcích vyhledávání?

Ne. Disallow zastaví procházení, nikoli indexování. Blokovaná stránka se může ve výsledcích stále zobrazovat, pokud na ni odkazují jiné stránky, pouze bez popisu. Chcete-li ji vyřadit z indexu, použijte na stránce, kterou lze procházet, značku meta nebo hlavičku noindex.

### Proč je Crawl-delay označeno?

Google ignoruje direktivu Crawl-delay, zatímco Bing ji respektuje. Tester ji uvádí, abyste věděli, že Googlebot nezpomaluje.

### Existuje omezení velikosti?

Google čte prvních 500 KiB souboru robots.txt a zbytek ignoruje. Tester čte stejné množství a upozorní, když je soubor delší.

### Kolik adres URL mohu otestovat?

Až 50 v jedné žádosti. Načtení živého robots.txt se počítá jako jedna žádost a každý návštěvník může za minutu spustit omezený počet testů.

Vaše reklama zde?

[Napište nám](mailto:hi@dennn.is?subject=Inzerce%20na%20OneClick%20Pro)

[Reklama 433 nástrojů pro vaše AI agenty prostřednictvím jednoho MCP serveru.](https://multitaskai.com/cs/?ref=oneclickpro)
