# Tester Robots.txt

Otestujte, či môžu roboty vyhľadávačov načítať stránku podľa súboru robots.txt danej lokality. Tester stiahne robots.txt, vyberie skupinu pre zvoleného používateľského agenta, napríklad Googlebot alebo Bingbot, a použije príslušné pravidlá podľa RFC 9309 a Google: vyhráva najdlhšie zodpovedajúce pravidlo, pri zhode má Allow prednosť pred Disallow a podporované sú zástupné znaky * a $. Môžete tiež vložiť vlastný súbor robots.txt a vyskúšať zmeny ešte pred ich zverejnením.

## Často kladené otázky

### Ako používať tester?

Zadajte jednu alebo viac adries URL, každú na samostatný riadok. Prvá musí byť úplná adresa URL, aby tester vedel, súbor robots.txt ktorej lokality má načítať; na ďalších riadkoch môžu byť úplné adresy URL na tej istej lokalite alebo cesty, napríklad /admin/. Vyberte používateľského agenta a spustite test.

### Ako sa vyberie správna skupina pravidiel?

Roboty používajú skupinu, ktorej riadok User-agent zodpovedá ich názvu bez ohľadu na veľkosť písmen. Ak neexistuje presná skupina, tester použije najdlhší názov, ktorým sa začína názov robota, napríklad googlebot pre Googlebot-Image; inak použije skupinu pre *. Pravidlá z viacerých skupín s rovnakým názvom sa zlúčia.

### Ktoré pravidlo vyhrá, keď sa zhoduje viacero pravidiel?

To najkonkrétnejšie, teda pravidlo s najdlhším vzorom cesty. Ak sú pravidlo Allow a pravidlo Disallow rovnako dlhé, vyhráva Allow. Takéto správanie opisuje RFC 9309 a používajú ho Google a Bing.

### Podporujú sa zástupné znaky?

Áno. Hviezdička zodpovedá ľubovoľnej sekvencii znakov a znak dolára na konci ukotví pravidlo na koniec adresy URL, takže Disallow: /*.pdf$ zablokuje každú adresu URL končiacu na .pdf. Pri porovnávaní sa rozlišujú veľké a malé písmená a zohľadňuje sa reťazec dopytu.

### Môžem pred zverejnením otestovať súbor robots.txt?

Áno. Vložte jeho obsah do poľa robots.txt. Tester potom použije váš text namiesto stiahnutia aktuálneho súboru, takže prvý riadok môže obsahovať aj cestu.

### Čo ak lokalita nemá súbor robots.txt?

Keď robots.txt vráti stav 4xx, napríklad 404, roboty môžu načítať všetko a tester označí každú adresu URL ako povolenú. Keď vráti chybu 5xx, Google považuje celú lokalitu na určitý čas za zablokovanú a tester to tiež zobrazí.

### Zabráni Disallow zobrazovaniu stránky vo výsledkoch vyhľadávania?

Nie. Disallow zastaví prehľadávanie, nie indexovanie. Zablokovaná stránka sa môže stále zobrazovať vo výsledkoch, ak na ňu odkazujú iné stránky, len bez popisu. Ak ju chcete vylúčiť z indexu, použite na stránke, ktorú možno prehľadávať, značku alebo hlavičku noindex.

### Prečo je Crawl-delay označené?

Google ignoruje direktívu Crawl-delay, zatiaľ čo Bing ju rešpektuje. Tester ju spomína, aby ste vedeli, že nespomaľuje Googlebot.

### Existuje limit veľkosti?

Google číta prvých 500 KiB súboru robots.txt a zvyšok ignoruje. Tester číta rovnaké množstvo a upozorní, keď je súbor dlhší.

### Koľko adries URL môžem otestovať?

Najviac 50 na jednu požiadavku. Načítanie aktívneho robots.txt sa počíta ako jedna požiadavka a každý návštevník môže za minútu spustiť obmedzený počet testov.

Vaša reklama tu?

[Napíšte nám e-mail](mailto:hi@dennn.is?subject=Reklama%20na%20OneClick%20Pro)

[Reklama 433 nástrojov pre vašich AI agentov cez jeden server MCP.](https://multitaskai.com/sk/?ref=oneclickpro)
