Έλεγχος Robots.txt
Ελέγξτε αν οι ανιχνευτές μηχανών αναζήτησης μπορούν να ανακτήσουν μια σελίδα σύμφωνα με το robots.txt ενός ιστότοπου. Το εργαλείο ελέγχου κατεβάζει το robots.txt, επιλέγει την ομάδα για τον user agent που επιλέγετε, όπως Googlebot ή Bingbot, και εφαρμόζει τους αντίστοιχους κανόνες όπως ορίζουν τα RFC 9309 και Google: υπερισχύει ο κανόνας με την πιο μακρά αντιστοιχία, σε ισοπαλία υπερισχύει το Allow έναντι του Disallow και υποστηρίζονται οι χαρακτήρες μπαλαντέρ * και $. Μπορείτε επίσης να επικολλήσετε το δικό σας robots.txt για να δοκιμάσετε αλλαγές πριν τις δημοσιεύσετε.
Συχνές ερωτήσεις
Πώς χρησιμοποιώ το εργαλείο ελέγχου;
Εισαγάγετε ένα ή περισσότερα URL, ένα ανά γραμμή. Το πρώτο πρέπει να είναι πλήρες URL, ώστε το εργαλείο ελέγχου να γνωρίζει ποιο robots.txt του ιστότοπου να ανακτήσει· οι επόμενες γραμμές μπορούν να περιέχουν πλήρη URL στον ίδιο ιστότοπο ή διαδρομές όπως /admin/. Επιλέξτε τον user agent και εκτελέστε τον έλεγχο.
Πώς επιλέγεται η σωστή ομάδα κανόνων;
Οι ανιχνευτές χρησιμοποιούν την ομάδα της οποίας η γραμμή User-agent αντιστοιχεί στο όνομά τους, χωρίς διάκριση πεζών και κεφαλαίων. Αν δεν υπάρχει ακριβής ομάδα, το εργαλείο ελέγχου χρησιμοποιεί το μεγαλύτερο όνομα με το οποίο αρχίζει το όνομα του ανιχνευτή, για παράδειγμα googlebot για το Googlebot-Image· διαφορετικά, χρησιμοποιεί την ομάδα για το *. Οι κανόνες από πολλές ομάδες με το ίδιο όνομα συνδυάζονται.
Ποιος κανόνας υπερισχύει όταν ταιριάζουν πολλοί;
Ο πιο συγκεκριμένος, δηλαδή ο κανόνας με το μεγαλύτερο μοτίβο διαδρομής. Όταν οι κανόνες Allow και Disallow έχουν ίδιο μήκος, υπερισχύει το Allow. Αυτή είναι η συμπεριφορά που περιγράφεται στο RFC 9309 και χρησιμοποιείται από το Google και το Bing.
Υποστηρίζονται οι χαρακτήρες μπαλαντέρ;
Ναι. Ο αστερίσκος αντιστοιχεί σε οποιαδήποτε ακολουθία χαρακτήρων και το σύμβολο του δολαρίου στο τέλος αγκυρώνει τον κανόνα στο τέλος του URL, οπότε το Disallow: /*.pdf$ αποκλείει κάθε URL που τελειώνει σε .pdf. Η αντιστοίχιση κάνει διάκριση πεζών και κεφαλαίων και περιλαμβάνει τη συμβολοσειρά ερωτήματος.
Μπορώ να δοκιμάσω ένα robots.txt πριν το δημοσιεύσω;
Ναι. Επικολλήστε το περιεχόμενό του στο πεδίο robots.txt. Στη συνέχεια, το εργαλείο ελέγχου χρησιμοποιεί το κείμενό σας αντί να κατεβάσει το ενεργό αρχείο, οπότε η πρώτη γραμμή μπορεί επίσης να είναι μια διαδρομή.
Τι γίνεται αν ο ιστότοπος δεν έχει robots.txt;
Όταν το robots.txt επιστρέφει κατάσταση 4xx, όπως 404, οι ανιχνευτές μπορεί να ανακτήσουν τα πάντα και το εργαλείο ελέγχου αναφέρει ότι επιτρέπεται κάθε URL. Όταν επιστρέφει σφάλμα 5xx, το Google αντιμετωπίζει προσωρινά ολόκληρο τον ιστότοπο ως αποκλεισμένο και το εργαλείο ελέγχου εμφανίζει και αυτό.
Αποκλείει το Disallow μια σελίδα από τα αποτελέσματα αναζήτησης;
Όχι. Το Disallow σταματά την ανίχνευση, όχι την ευρετηρίαση. Μια αποκλεισμένη σελίδα μπορεί και πάλι να εμφανιστεί στα αποτελέσματα αν συνδέονται με αυτή άλλες σελίδες, απλώς χωρίς περιγραφή. Για να την αποκλείσετε από το ευρετήριο, χρησιμοποιήστε μια ετικέτα meta noindex ή μια κεφαλίδα σε σελίδα που μπορεί να ανιχνευτεί.
Γιατί επισημαίνεται το Crawl-delay;
Το Google αγνοεί την οδηγία Crawl-delay, ενώ το Bing τη λαμβάνει υπόψη. Το εργαλείο ελέγχου την αναφέρει, ώστε να γνωρίζετε ότι δεν επιβραδύνει το Googlebot.
Υπάρχει όριο μεγέθους;
Το Google διαβάζει τα πρώτα 500 KiB ενός αρχείου robots.txt και αγνοεί το υπόλοιπο. Το εργαλείο ελέγχου διαβάζει την ίδια ποσότητα και προειδοποιεί όταν ένα αρχείο είναι μεγαλύτερο.
Πόσα URL μπορώ να ελέγξω;
Έως 50 ανά αίτημα. Η λήψη του ζωντανού robots.txt μετρά ως ένα αίτημα και κάθε επισκέπτης μπορεί να εκτελεί περιορισμένο αριθμό ελέγχων ανά λεπτό.