# Тестер Robots.txt

Проверьте, могут ли поисковые роботы загружать страницу согласно robots.txt сайта. Тестер загружает robots.txt, выбирает группу для указанного вами User-Agent, например Googlebot или Bingbot, и применяет соответствующие правила так же, как это делают RFC 9309 и Google: побеждает самое длинное совпадающее правило, при равенстве Allow имеет приоритет над Disallow, поддерживаются подстановочные знаки * и $. Можно также вставить свой robots.txt, чтобы проверить изменения до публикации.

## Часто задаваемые вопросы

### Как пользоваться тестером?

Введите один или несколько URL, по одному в строке. Первый адрес должен быть полным URL, чтобы тестер знал, для какого сайта загрузить robots.txt. В следующих строках можно указать полные URL на том же сайте или пути, например /admin/. Выберите User-Agent и запустите проверку.

### Как выбирается нужная группа правил?

Роботы выбирают группу, в которой строка User-agent соответствует их названию без учета регистра. Если группы с точным совпадением нет, тестер использует группу с самым длинным именем, начало которого совпадает с названием робота, например googlebot для Googlebot-Image. В противном случае используется группа для *. Правила из нескольких групп с одинаковым именем объединяются.

### Какое правило побеждает, если совпадают несколько?

Самое конкретное — то есть правило с самым длинным шаблоном пути. Если правила Allow и Disallow имеют одинаковую длину, побеждает Allow. Так описано в RFC 9309; такой подход используют Google и Bing.

### Поддерживаются ли подстановочные знаки?

Да. Звездочка соответствует любой последовательности символов, а знак доллара в конце привязывает правило к концу URL, поэтому Disallow: /*.pdf$ блокирует все URL, заканчивающиеся на .pdf. Регистр символов учитывается, включая строку запроса.

### Можно ли проверить robots.txt до публикации?

Да. Вставьте содержимое в поле robots.txt. Тестер использует введенный текст вместо загрузки опубликованного файла, поэтому в первой строке также можно указать путь.

### Что, если на сайте нет robots.txt?

Если robots.txt возвращает статус 4xx, например 404, роботы могут сканировать все содержимое, и тестер считает каждый URL разрешенным. Если возвращается ошибка 5xx, Google на некоторое время считает весь сайт заблокированным; тестер тоже это покажет.

### Запрещает ли Disallow показывать страницу в результатах поиска?

Нет. Disallow запрещает сканирование, но не индексацию. Заблокированная страница все равно может появиться в результатах, если на нее ссылаются другие страницы, но без описания. Чтобы исключить ее из индекса, добавьте тег или заголовок noindex на доступную для сканирования страницу.

### Почему Crawl-delay отмечен?

Google игнорирует директиву Crawl-delay, а Bing учитывает её. Тестер упоминает её, чтобы вы знали: она не замедляет Googlebot.

### Есть ли ограничение по размеру?

Google считывает первые 500 KiB файла robots.txt и игнорирует остальное. Тестер считывает столько же и предупреждает, если файл длиннее.

### Сколько URL можно проверить?

До 50 за запрос. Получение актуального robots.txt считается одним запросом, и каждый посетитель может выполнять ограниченное число проверок в минуту.

Ваша реклама здесь?

[Напишите нам по электронной почте](mailto:hi@dennn.is?subject=%D0%A0%D0%B5%D0%BA%D0%BB%D0%B0%D0%BC%D0%B0%20%D0%BD%D0%B0%20OneClick%20Pro)

[Реклама 433 инструментов для ваших ИИ-агентов через один MCP-сервер.](https://multitaskai.com/ru/?ref=oneclickpro)
