Тестер Robots.txt
Проверьте, могут ли поисковые роботы загружать страницу согласно robots.txt сайта. Тестер загружает robots.txt, выбирает группу для указанного вами User-Agent, например Googlebot или Bingbot, и применяет соответствующие правила так же, как это делают RFC 9309 и Google: побеждает самое длинное совпадающее правило, при равенстве Allow имеет приоритет над Disallow, поддерживаются подстановочные знаки * и $. Можно также вставить свой robots.txt, чтобы проверить изменения до публикации.
Часто задаваемые вопросы
Как пользоваться тестером?
Введите один или несколько URL, по одному в строке. Первый адрес должен быть полным URL, чтобы тестер знал, для какого сайта загрузить robots.txt. В следующих строках можно указать полные URL на том же сайте или пути, например /admin/. Выберите User-Agent и запустите проверку.
Как выбирается нужная группа правил?
Роботы выбирают группу, в которой строка User-agent соответствует их названию без учета регистра. Если группы с точным совпадением нет, тестер использует группу с самым длинным именем, начало которого совпадает с названием робота, например googlebot для Googlebot-Image. В противном случае используется группа для *. Правила из нескольких групп с одинаковым именем объединяются.
Какое правило побеждает, если совпадают несколько?
Самое конкретное — то есть правило с самым длинным шаблоном пути. Если правила Allow и Disallow имеют одинаковую длину, побеждает Allow. Так описано в RFC 9309; такой подход используют Google и Bing.
Поддерживаются ли подстановочные знаки?
Да. Звездочка соответствует любой последовательности символов, а знак доллара в конце привязывает правило к концу URL, поэтому Disallow: /*.pdf$ блокирует все URL, заканчивающиеся на .pdf. Регистр символов учитывается, включая строку запроса.
Можно ли проверить robots.txt до публикации?
Да. Вставьте содержимое в поле robots.txt. Тестер использует введенный текст вместо загрузки опубликованного файла, поэтому в первой строке также можно указать путь.
Что, если на сайте нет robots.txt?
Если robots.txt возвращает статус 4xx, например 404, роботы могут сканировать все содержимое, и тестер считает каждый URL разрешенным. Если возвращается ошибка 5xx, Google на некоторое время считает весь сайт заблокированным; тестер тоже это покажет.
Запрещает ли Disallow показывать страницу в результатах поиска?
Нет. Disallow запрещает сканирование, но не индексацию. Заблокированная страница все равно может появиться в результатах, если на нее ссылаются другие страницы, но без описания. Чтобы исключить ее из индекса, добавьте тег или заголовок noindex на доступную для сканирования страницу.
Почему Crawl-delay отмечен?
Google игнорирует директиву Crawl-delay, а Bing учитывает её. Тестер упоминает её, чтобы вы знали: она не замедляет Googlebot.
Есть ли ограничение по размеру?
Google считывает первые 500 KiB файла robots.txt и игнорирует остальное. Тестер считывает столько же и предупреждает, если файл длиннее.
Сколько URL можно проверить?
До 50 за запрос. Получение актуального robots.txt считается одним запросом, и каждый посетитель может выполнять ограниченное число проверок в минуту.