# Robots.txt tikrintuvas

Patikrinkite, ar paieškos sistemų tikrinimo robotai gali pasiekti puslapį pagal svetainės robots.txt. Tikrintuvas atsisiunčia robots.txt, parenka jūsų nurodytam naudotojo agentui, pavyzdžiui, Googlebot arba Bingbot, skirtą grupę ir pritaiko atitinkančias taisykles taip, kaip tai daro RFC 9309 ir Google: laimi ilgiausiai atitinkanti taisyklė, esant vienodam ilgiui Allow turi pirmenybę prieš Disallow, o pakaitos simboliai * ir $ palaikomi. Taip pat galite įklijuoti savo robots.txt ir išbandyti pakeitimus prieš juos paskelbdami.

## Dažnai užduodami klausimai

### Kaip naudoti tikrintuvą?

Įveskite vieną ar daugiau URL adresų, po vieną kiekvienoje eilutėje. Pirmasis turi būti visas URL, kad tikrintuvas žinotų, kurios svetainės robots.txt atsisiųsti; tolesnėse eilutėse galima nurodyti tos pačios svetainės visus URL adresus arba kelius, pavyzdžiui, /admin/. Pasirinkite naudotojo agentą ir paleiskite patikrą.

### Kaip parenkama tinkama taisyklių grupė?

Tikrintuvai naudoja grupę, kurios User-agent eilutė atitinka jų pavadinimą, nepaisydami didžiųjų ir mažųjų raidžių. Jei tikslios grupės nėra, tikrintuvas naudoja ilgiausią pavadinimą, kuriuo prasideda tikrintuvo pavadinimas, pavyzdžiui, Googlebot-Image atveju googlebot; kitu atveju naudojama grupė, skirta *. Kelių grupių, turinčių tą patį pavadinimą, taisyklės sujungiamos.

### Kuri taisyklė laimi, kai tinka kelios?

Konkrečiausia, t. y. taisyklė su ilgiausiu kelio šablonu. Jei Allow ir Disallow taisyklių ilgis vienodas, laimi Allow. Toks veikimas aprašytas RFC 9309 ir taikomas Google bei Bing.

### Ar palaikomi pakaitos simboliai?

Taip. Žvaigždutė atitinka bet kokią simbolių seką, o eilutės pabaigoje esantis dolerio ženklas susieja taisyklę su URL pabaiga, todėl Disallow: /*.pdf$ blokuoja visus URL, kurie baigiasi .pdf. Skiriamos didžiosios ir mažosios raidės, o atitikmenų ieškoma ir užklausos eilutėje.

### Ar galiu išbandyti robots.txt prieš jį paskelbdamas?

Taip. Įklijuokite jo turinį į lauką robots.txt. Tada tikrintuvas naudoja jūsų tekstą, o ne atsisiunčia svetainėje esantį failą, todėl pirmoje eilutėje taip pat gali būti kelias.

### Kas nutinka, jei svetainėje nėra robots.txt?

Kai robots.txt grąžina 4xx būseną, pavyzdžiui, 404, tikrintuvai gali pasiekti viską, o tikrintuvas praneša, kad kiekvienas URL leidžiamas. Kai grąžinama 5xx klaida, Google kuriam laikui laiko visą svetainę užblokuota; tai parodo ir tikrintuvas.

### Ar Disallow neleidžia puslapiui patekti į paieškos rezultatus?

Ne. Disallow sustabdo tikrinimą, bet ne indeksavimą. Užblokuotas puslapis vis tiek gali būti rodomas rezultatuose, jei į jį nukreipia kiti puslapiai, tik be aprašo. Kad puslapis nepatektų į indeksą, naudokite noindex meta žymą arba antraštę puslapyje, kurį galima tikrinti.

### Kodėl pažymėtas Crawl-delay?

Google nepaiso Crawl-delay direktyvos, o Bing jos laikosi. Tikrintuvas ją pamini, kad žinotumėte, jog ji nesulėtina Googlebot.

### Ar yra dydžio apribojimas?

Google nuskaito pirmuosius 500 KiB robots.txt failo ir likusią dalį ignoruoja. Tikrintuvas nuskaito tiek pat ir įspėja, kai failas yra ilgesnis.

### Kiek URL galiu patikrinti?

Iki 50 per užklausą. Tiesioginio robots.txt gavimas laikomas viena užklausa, o kiekvienas lankytojas gali atlikti ribotą skaičių patikrinimų per minutę.

Jūsų reklama čia?

[Parašykite mums el. paštu](mailto:hi@dennn.is?subject=Reklama%20svetain%C4%97je%20OneClick%20Pro)

[Reklama 433 įrankių jūsų DI agentams per vieną MCP serverį.](https://multitaskai.com/lt/?ref=oneclickpro)
