# Тестер Robots.txt

Перевірте, чи можуть пошукові роботи отримати доступ до сторінки згідно з файлом robots.txt сайту. Тестер завантажує robots.txt, вибирає групу для вказаного вами ідентифікатора користувача, наприклад Googlebot або Bingbot, і застосовує відповідні правила згідно з RFC 9309 та Google: перемагає правило з найдовшим збігом, у разі однакової довжини Allow має перевагу над Disallow, а підстановочні символи * і $ підтримуються. Ви також можете вставити власний robots.txt, щоб перевірити зміни до публікації.

## Поширені запитання

### Як користуватися тестером?

Введіть одну або кілька URL-адрес, по одній на рядок. Перша адреса має бути повною адресою URL, щоб тестер знав, з якого сайту завантажити файл robots.txt. У наступних рядках можна вказати повні URL-адреси на тому самому сайті або шляхи, як-от /admin/. Виберіть ідентифікатор користувача й запустіть перевірку.

### Як вибирається відповідна група правил?

Роботи використовують групу, рядок User-agent якої відповідає їхній назві без урахування регістру. Якщо точної групи немає, тестер використовує групу з найдовшою назвою, з якої починається назва робота, наприклад googlebot для Googlebot-Image. Якщо такої групи теж немає, використовується група для *. Правила з кількох груп з однаковою назвою об’єднуються.

### Яке правило перемагає, якщо збігаються кілька?

Найспецифічніше — тобто правило з найдовшим шаблоном шляху. Якщо правила Allow і Disallow однакової довжини, перемагає Allow. Така поведінка описана в RFC 9309 і використовується Google та Bing.

### Чи підтримуються підстановочні символи?

Так. Зірочка відповідає будь-якій послідовності символів, а знак долара в кінці прив’язує правило до кінця URL, тож Disallow: /*.pdf$ блокує всі URL, що закінчуються на .pdf. Під час зіставлення враховується регістр і рядок запиту.

### Чи можна перевірити robots.txt до публікації?

Так. Вставте його вміст у поле robots.txt. Тестер використовуватиме ваш текст замість завантаження актуального файлу, тому перший рядок також може містити шлях.

### Що робити, якщо на сайті немає robots.txt?

Якщо robots.txt повертає статус 4xx, наприклад 404, роботи можуть завантажувати все, і тестер позначає кожен URL як дозволений. Якщо він повертає помилку 5xx, Google певний час вважає весь сайт заблокованим — тестер також це покаже.

### Чи забороняє Disallow показувати сторінку в результатах пошуку?

Ні. Disallow забороняє сканування, а не індексацію. Заблокована сторінка все одно може з’являтися в результатах, якщо на неї посилаються інші сторінки, але без опису. Щоб вилучити її з індексу, додайте метатег або заголовок noindex на сторінці, доступній для сканування.

### Чому позначено Crawl-delay?

Google ігнорує директиву Crawl-delay, тоді як Bing її враховує. Тестер згадує про це, щоб ви знали: вона не сповільнює Googlebot.

### Чи є обмеження на розмір?

Google читає перші 500 KiB файлу robots.txt і ігнорує решту. Тестер читає такий самий обсяг і попереджає, якщо файл довший.

### Скільки URL-адрес можна перевірити?

До 50 за запит. Отримання актуального robots.txt рахується як один запит, а кожен відвідувач може виконувати обмежену кількість перевірок за хвилину.

Ваша реклама тут?

[Напишіть нам електронною поштою](mailto:hi@dennn.is?subject=%D0%A0%D0%B5%D0%BA%D0%BB%D0%B0%D0%BC%D0%B0%20%D0%BD%D0%B0%20OneClick%20Pro)

[Реклама 433 інструментів для ваших AI-агентів через один MCP-сервер.](https://multitaskai.com/uk/?ref=oneclickpro)
