Тестер за Robots.txt
Проверете дали роботите на търсачките могат да извличат дадена страница според robots.txt на сайта. Тестерът изтегля robots.txt, избира групата за посочения от вас потребителски агент, например Googlebot или Bingbot, и прилага съответстващите правила по начина, описан в RFC 9309 и използван от Google: печели най-дългото съвпадащо правило, Allow има предимство при равенство, а заместващите знаци * и $ се поддържат. Можете също да поставите свой robots.txt, за да изпробвате промените, преди да ги публикувате.
Често задавани въпроси
Как да използвам тестера?
Въведете един или повече URL адреса, по един на ред. Първият трябва да е пълен URL, за да знае тестерът кой robots.txt на сайта да изтегли; следващите редове могат да съдържат пълни URL адреси от същия сайт или пътища като /admin/. Изберете потребителски агент и стартирайте теста.
Как се избира правилната група правила?
Роботите използват групата, чийто ред User-agent съвпада с името им, без да се отчита разликата между главни и малки букви. Ако няма точно съвпадение, тестерът използва най-дългото име, с което започва името на робота, например googlebot за Googlebot-Image; в противен случай използва групата за *. Правилата от няколко групи с едно и също име се обединяват.
Кое правило има предимство, когато съвпадат няколко?
Най-конкретното, тоест правилото с най-дългия шаблон на пътя. Когато правило Allow и правило Disallow са с еднаква дължина, Allow има предимство. Това е поведението, описано в RFC 9309 и използвано от Google и Bing.
Поддържат ли се заместващи знаци?
Да. Звездичката съвпада с произволна поредица от символи, а знакът за долар в края прикрепя правилото към края на URL, така че Disallow: /*.pdf$ блокира всеки URL, завършващ на .pdf. Съвпадението е чувствително към главни и малки букви и включва низа на заявката.
Мога ли да тествам robots.txt, преди да го публикувам?
Да. Поставете съдържанието му в полето robots.txt. Тестерът ще използва въведения от вас текст вместо да изтегли активния файл, така че първият ред може да съдържа и път.
Какво става, ако сайтът няма robots.txt?
Когато robots.txt върне статус 4xx, например 404, роботите може да извличат всичко и тестерът отчита всеки URL като разрешен. Когато върне грешка 5xx, Google третира целия сайт като блокиран за известно време и тестерът показва това.
Не позволява ли Disallow страница да се показва в резултатите от търсенето?
Не. Disallow спира обхождането, а не индексирането. Блокирана страница все още може да се появи в резултатите, ако други страници водят към нея, но без описание. Използвайте мета етикет noindex или хедър на страница, която може да бъде обхождана, за да я изключите от индекса.
Защо Crawl-delay е маркирано?
Google пренебрегва директивата Crawl-delay, докато Bing я спазва. Тестерът я споменава, за да знаете, че тя не забавя Googlebot.
Има ли ограничение за размера?
Google прочита първите 500 KiB от файл robots.txt и игнорира останалото. Тестерът прочита същото количество и предупреждава, когато файлът е по-дълъг.
Колко URL адреса мога да тествам?
До 50 на заявка. Извличането на актуалния robots.txt се брои за една заявка, а всеки посетител може да изпълнява ограничен брой тестове в минута.