Tester Robots.txt
Sprawdź, czy roboty wyszukiwarek mogą pobierać stronę zgodnie z plikiem robots.txt witryny. Tester pobiera robots.txt, wybiera grupę dla wskazanego klienta użytkownika, na przykład Googlebot lub Bingbot, i stosuje pasujące reguły zgodnie z RFC 9309 i Google: wygrywa najdłuższa pasująca reguła, przy remisie Allow ma pierwszeństwo przed Disallow, a symbole wieloznaczne * i $ są obsługiwane. Możesz też wkleić własny robots.txt, aby przetestować zmiany przed ich opublikowaniem.
Najczęściej zadawane pytania
Jak korzystać z testera?
Wpisz jeden lub więcej adresów URL, po jednym w wierszu. Pierwszy musi być pełnym URL, aby tester wiedział, z której witryny pobrać robots.txt; kolejne wiersze mogą zawierać pełne adresy URL z tej samej witryny lub ścieżki, takie jak /admin/. Wybierz klienta użytkownika i uruchom test.
Jak wybierana jest właściwa grupa reguł?
Roboty używają grupy, której wiersz User-agent pasuje do ich nazwy bez względu na wielkość liter. Jeśli nie ma dokładnej grupy, tester wybiera najdłuższą nazwę, od której zaczyna się nazwa robota, na przykład googlebot dla Googlebot-Image; w przeciwnym razie używa grupy dla *. Reguły z kilku grup o tej samej nazwie są łączone.
Która reguła wygrywa, gdy pasuje ich kilka?
Najbardziej szczegółowa, czyli ta z najdłuższym wzorcem ścieżki. Gdy reguły Allow i Disallow mają tę samą długość, wygrywa Allow. Takie zachowanie opisano w RFC 9309 i stosują je Google oraz Bing.
Czy obsługiwane są symbole wieloznaczne?
Tak. Gwiazdka dopasowuje dowolny ciąg znaków, a znak dolara na końcu ogranicza regułę do końca URL, więc Disallow: /*.pdf$ blokuje każdy URL kończący się na .pdf. Dopasowanie rozróżnia wielkość liter i uwzględnia ciąg zapytania.
Czy mogę przetestować robots.txt przed jego opublikowaniem?
Tak. Wklej jego zawartość w polu robots.txt. Tester użyje wtedy podanego tekstu zamiast pobierać bieżący plik, więc pierwszy wiersz może być również ścieżką.
Co, jeśli witryna nie ma robots.txt?
Gdy robots.txt zwraca status 4xx, na przykład 404, roboty mogą pobierać wszystkie strony, a tester oznacza każdy URL jako dozwolony. Gdy zwraca błąd 5xx, Google przez pewien czas uznaje całą witrynę za zablokowaną i tester również to pokazuje.
Czy Disallow wyklucza stronę z wyników wyszukiwania?
Nie. Disallow blokuje indeksowanie treści przez roboty, ale nie usuwa strony z indeksu. Zablokowana strona nadal może pojawić się w wynikach, jeśli prowadzą do niej linki z innych stron, ale bez opisu. Aby wykluczyć ją z indeksu, użyj tagu meta noindex lub nagłówka na stronie dostępnej do indeksowania.
Dlaczego Crawl-delay jest oznaczona?
Google ignoruje dyrektywę Crawl-delay, podczas gdy Bing jej przestrzega. Tester o niej wspomina, aby było wiadomo, że nie spowalnia ona Googlebota.
Czy obowiązuje limit rozmiaru?
Google odczytuje pierwsze 500 KiB pliku robots.txt i ignoruje resztę. Tester odczytuje taką samą ilość danych i ostrzega, gdy plik jest dłuższy.
Ile adresów URL mogę przetestować?
Do 50 w jednym żądaniu. Pobranie bieżącego robots.txt liczy się jako jedno żądanie, a każdy odwiedzający może uruchomić ograniczoną liczbę testów na minutę.