# Tester Robots.txt

Sprawdź, czy roboty wyszukiwarek mogą pobierać stronę zgodnie z plikiem robots.txt witryny. Tester pobiera robots.txt, wybiera grupę dla wskazanego klienta użytkownika, na przykład Googlebot lub Bingbot, i stosuje pasujące reguły zgodnie z RFC 9309 i Google: wygrywa najdłuższa pasująca reguła, przy remisie Allow ma pierwszeństwo przed Disallow, a symbole wieloznaczne * i $ są obsługiwane. Możesz też wkleić własny robots.txt, aby przetestować zmiany przed ich opublikowaniem.

## Najczęściej zadawane pytania

### Jak korzystać z testera?

Wpisz jeden lub więcej adresów URL, po jednym w wierszu. Pierwszy musi być pełnym URL, aby tester wiedział, z której witryny pobrać robots.txt; kolejne wiersze mogą zawierać pełne adresy URL z tej samej witryny lub ścieżki, takie jak /admin/. Wybierz klienta użytkownika i uruchom test.

### Jak wybierana jest właściwa grupa reguł?

Roboty używają grupy, której wiersz User-agent pasuje do ich nazwy bez względu na wielkość liter. Jeśli nie ma dokładnej grupy, tester wybiera najdłuższą nazwę, od której zaczyna się nazwa robota, na przykład googlebot dla Googlebot-Image; w przeciwnym razie używa grupy dla *. Reguły z kilku grup o tej samej nazwie są łączone.

### Która reguła wygrywa, gdy pasuje ich kilka?

Najbardziej szczegółowa, czyli ta z najdłuższym wzorcem ścieżki. Gdy reguły Allow i Disallow mają tę samą długość, wygrywa Allow. Takie zachowanie opisano w RFC 9309 i stosują je Google oraz Bing.

### Czy obsługiwane są symbole wieloznaczne?

Tak. Gwiazdka dopasowuje dowolny ciąg znaków, a znak dolara na końcu ogranicza regułę do końca URL, więc Disallow: /*.pdf$ blokuje każdy URL kończący się na .pdf. Dopasowanie rozróżnia wielkość liter i uwzględnia ciąg zapytania.

### Czy mogę przetestować robots.txt przed jego opublikowaniem?

Tak. Wklej jego zawartość w polu robots.txt. Tester użyje wtedy podanego tekstu zamiast pobierać bieżący plik, więc pierwszy wiersz może być również ścieżką.

### Co, jeśli witryna nie ma robots.txt?

Gdy robots.txt zwraca status 4xx, na przykład 404, roboty mogą pobierać wszystkie strony, a tester oznacza każdy URL jako dozwolony. Gdy zwraca błąd 5xx, Google przez pewien czas uznaje całą witrynę za zablokowaną i tester również to pokazuje.

### Czy Disallow wyklucza stronę z wyników wyszukiwania?

Nie. Disallow blokuje indeksowanie treści przez roboty, ale nie usuwa strony z indeksu. Zablokowana strona nadal może pojawić się w wynikach, jeśli prowadzą do niej linki z innych stron, ale bez opisu. Aby wykluczyć ją z indeksu, użyj tagu meta noindex lub nagłówka na stronie dostępnej do indeksowania.

### Dlaczego Crawl-delay jest oznaczona?

Google ignoruje dyrektywę Crawl-delay, podczas gdy Bing jej przestrzega. Tester o niej wspomina, aby było wiadomo, że nie spowalnia ona Googlebota.

### Czy obowiązuje limit rozmiaru?

Google odczytuje pierwsze 500 KiB pliku robots.txt i ignoruje resztę. Tester odczytuje taką samą ilość danych i ostrzega, gdy plik jest dłuższy.

### Ile adresów URL mogę przetestować?

Do 50 w jednym żądaniu. Pobranie bieżącego robots.txt liczy się jako jedno żądanie, a każdy odwiedzający może uruchomić ograniczoną liczbę testów na minutę.

Twoja reklama tutaj?

[Napisz do nas](mailto:hi@dennn.is?subject=Reklama%20w%20OneClick%20Pro)

[Reklama 433 narzędzi dla agentów AI przez jeden serwer MCP.](https://multitaskai.com/pl/?ref=oneclickpro)
