Перейти до вмісту

Тестер Robots.txt

Перевірте, чи можуть пошукові роботи отримати доступ до сторінки згідно з файлом robots.txt сайту. Тестер завантажує robots.txt, вибирає групу для вказаного вами ідентифікатора користувача, наприклад Googlebot або Bingbot, і застосовує відповідні правила згідно з RFC 9309 та Google: перемагає правило з найдовшим збігом, у разі однакової довжини Allow має перевагу над Disallow, а підстановочні символи * і $ підтримуються. Ви також можете вставити власний robots.txt, щоб перевірити зміни до публікації.

Скинути

Поширені запитання

Як користуватися тестером?

Введіть одну або кілька URL-адрес, по одній на рядок. Перша адреса має бути повною адресою URL, щоб тестер знав, з якого сайту завантажити файл robots.txt. У наступних рядках можна вказати повні URL-адреси на тому самому сайті або шляхи, як-от /admin/. Виберіть ідентифікатор користувача й запустіть перевірку.

Як вибирається відповідна група правил?

Роботи використовують групу, рядок User-agent якої відповідає їхній назві без урахування регістру. Якщо точної групи немає, тестер використовує групу з найдовшою назвою, з якої починається назва робота, наприклад googlebot для Googlebot-Image. Якщо такої групи теж немає, використовується група для *. Правила з кількох груп з однаковою назвою об’єднуються.

Яке правило перемагає, якщо збігаються кілька?

Найспецифічніше — тобто правило з найдовшим шаблоном шляху. Якщо правила Allow і Disallow однакової довжини, перемагає Allow. Така поведінка описана в RFC 9309 і використовується Google та Bing.

Чи підтримуються підстановочні символи?

Так. Зірочка відповідає будь-якій послідовності символів, а знак долара в кінці прив’язує правило до кінця URL, тож Disallow: /*.pdf$ блокує всі URL, що закінчуються на .pdf. Під час зіставлення враховується регістр і рядок запиту.

Чи можна перевірити robots.txt до публікації?

Так. Вставте його вміст у поле robots.txt. Тестер використовуватиме ваш текст замість завантаження актуального файлу, тому перший рядок також може містити шлях.

Що робити, якщо на сайті немає robots.txt?

Якщо robots.txt повертає статус 4xx, наприклад 404, роботи можуть завантажувати все, і тестер позначає кожен URL як дозволений. Якщо він повертає помилку 5xx, Google певний час вважає весь сайт заблокованим — тестер також це покаже.

Чи забороняє Disallow показувати сторінку в результатах пошуку?

Ні. Disallow забороняє сканування, а не індексацію. Заблокована сторінка все одно може з’являтися в результатах, якщо на неї посилаються інші сторінки, але без опису. Щоб вилучити її з індексу, додайте метатег або заголовок noindex на сторінці, доступній для сканування.

Чому позначено Crawl-delay?

Google ігнорує директиву Crawl-delay, тоді як Bing її враховує. Тестер згадує про це, щоб ви знали: вона не сповільнює Googlebot.

Чи є обмеження на розмір?

Google читає перші 500 KiB файлу robots.txt і ігнорує решту. Тестер читає такий самий обсяг і попереджає, якщо файл довший.

Скільки URL-адрес можна перевірити?

До 50 за запит. Отримання актуального robots.txt рахується як один запит, а кожен відвідувач може виконувати обмежену кількість перевірок за хвилину.

Про OneClick Pro

OneClick Pro — це безкоштовна колекція з понад 150 вебінструментів для повсякденної роботи: конвертації зображень і одиниць, форматування та перевірки коду, перевірки доменів і SEO, а також роботи з текстом, датами й числами. Кожен інструмент працює без реєстрації чи передплати, а введені вами дані використовуються лише для обчислення результату й ніколи не зберігаються. Використовуйте цю добірку як швидкий набір інструментів для разових завдань або додайте в закладки інструменти, якими користуєтеся щодня.