Перейти к содержимому

Тестер Robots.txt

Проверьте, могут ли поисковые роботы загружать страницу согласно robots.txt сайта. Тестер загружает robots.txt, выбирает группу для указанного вами User-Agent, например Googlebot или Bingbot, и применяет соответствующие правила так же, как это делают RFC 9309 и Google: побеждает самое длинное совпадающее правило, при равенстве Allow имеет приоритет над Disallow, поддерживаются подстановочные знаки * и $. Можно также вставить свой robots.txt, чтобы проверить изменения до публикации.

Сбросить

Часто задаваемые вопросы

Как пользоваться тестером?

Введите один или несколько URL, по одному в строке. Первый адрес должен быть полным URL, чтобы тестер знал, для какого сайта загрузить robots.txt. В следующих строках можно указать полные URL на том же сайте или пути, например /admin/. Выберите User-Agent и запустите проверку.

Как выбирается нужная группа правил?

Роботы выбирают группу, в которой строка User-agent соответствует их названию без учета регистра. Если группы с точным совпадением нет, тестер использует группу с самым длинным именем, начало которого совпадает с названием робота, например googlebot для Googlebot-Image. В противном случае используется группа для *. Правила из нескольких групп с одинаковым именем объединяются.

Какое правило побеждает, если совпадают несколько?

Самое конкретное — то есть правило с самым длинным шаблоном пути. Если правила Allow и Disallow имеют одинаковую длину, побеждает Allow. Так описано в RFC 9309; такой подход используют Google и Bing.

Поддерживаются ли подстановочные знаки?

Да. Звездочка соответствует любой последовательности символов, а знак доллара в конце привязывает правило к концу URL, поэтому Disallow: /*.pdf$ блокирует все URL, заканчивающиеся на .pdf. Регистр символов учитывается, включая строку запроса.

Можно ли проверить robots.txt до публикации?

Да. Вставьте содержимое в поле robots.txt. Тестер использует введенный текст вместо загрузки опубликованного файла, поэтому в первой строке также можно указать путь.

Что, если на сайте нет robots.txt?

Если robots.txt возвращает статус 4xx, например 404, роботы могут сканировать все содержимое, и тестер считает каждый URL разрешенным. Если возвращается ошибка 5xx, Google на некоторое время считает весь сайт заблокированным; тестер тоже это покажет.

Запрещает ли Disallow показывать страницу в результатах поиска?

Нет. Disallow запрещает сканирование, но не индексацию. Заблокированная страница все равно может появиться в результатах, если на нее ссылаются другие страницы, но без описания. Чтобы исключить ее из индекса, добавьте тег или заголовок noindex на доступную для сканирования страницу.

Почему Crawl-delay отмечен?

Google игнорирует директиву Crawl-delay, а Bing учитывает её. Тестер упоминает её, чтобы вы знали: она не замедляет Googlebot.

Есть ли ограничение по размеру?

Google считывает первые 500 KiB файла robots.txt и игнорирует остальное. Тестер считывает столько же и предупреждает, если файл длиннее.

Сколько URL можно проверить?

До 50 за запрос. Получение актуального robots.txt считается одним запросом, и каждый посетитель может выполнять ограниченное число проверок в минуту.

О проекте OneClick Pro

OneClick Pro — это бесплатная коллекция из более чем 150 веб-инструментов для повседневных задач: преобразования изображений и единиц измерения, форматирования и проверки кода, проверки доменов и SEO, а также работы с текстом, датами и числами. Все инструменты доступны без регистрации и подписки, а введенные вами данные используются только для расчета результата и никогда не сохраняются. Используйте коллекцию как быстрый набор инструментов для разовых задач или добавьте в закладки те, которыми пользуетесь каждый день.