Lewati ke konten

Penguji Robots.txt

Uji apakah perayap mesin pencari boleh mengambil halaman berdasarkan robots.txt situs. Penguji mengunduh robots.txt, memilih grup untuk user agent yang Anda tentukan, seperti Googlebot atau Bingbot, lalu menerapkan aturan yang cocok sesuai RFC 9309 dan Google: aturan yang paling panjang dan cocok akan berlaku, Allow menang atas Disallow jika panjangnya sama, serta wildcard * dan $ didukung. Anda juga dapat menempelkan robots.txt sendiri untuk mencoba perubahan sebelum menerbitkannya.

Reset

Pertanyaan yang sering diajukan

Bagaimana cara menggunakan penguji ini?

Masukkan satu atau beberapa URL, satu per baris. Baris pertama harus berupa URL lengkap agar penguji mengetahui robots.txt situs mana yang perlu diambil; baris berikutnya dapat berupa URL lengkap di situs yang sama atau jalur seperti /admin/. Pilih user agent, lalu jalankan pengujian.

Bagaimana grup aturan yang tepat dipilih?

Perayap menggunakan grup dengan baris User-agent yang cocok dengan nama mereka, tanpa membedakan huruf besar dan kecil. Jika tidak ada grup yang cocok persis, penguji menggunakan nama terpanjang yang menjadi awalan nama perayap, misalnya googlebot untuk Googlebot-Image, dan jika tidak ada, grup untuk *. Aturan dari beberapa grup dengan nama yang sama digabungkan.

Aturan mana yang berlaku jika beberapa aturan cocok?

Aturan yang paling spesifik, yaitu aturan dengan pola jalur terpanjang. Jika aturan Allow dan Disallow memiliki panjang yang sama, Allow yang berlaku. Perilaku ini dijelaskan dalam RFC 9309 dan digunakan oleh Google serta Bing.

Apakah wildcard didukung?

Ya. Tanda bintang cocok dengan rangkaian karakter apa pun, sedangkan tanda dolar di akhir menautkan aturan ke akhir URL, sehingga Disallow: /*.pdf$ memblokir setiap URL yang berakhiran .pdf. Pencocokan peka huruf besar-kecil dan mencakup string kueri.

Bisakah saya menguji robots.txt sebelum menerbitkannya?

Ya. Tempelkan kontennya ke kolom robots.txt. Penguji kemudian menggunakan teks Anda alih-alih mengunduh file aktif, sehingga baris pertama juga dapat berupa jalur.

Bagaimana jika situs tidak memiliki robots.txt?

Jika robots.txt mengembalikan status 4xx seperti 404, perayap dapat mengambil semuanya dan penguji melaporkan setiap URL sebagai diizinkan. Jika mengembalikan kesalahan 5xx, Google menganggap seluruh situs diblokir untuk sementara, dan penguji juga menampilkannya.

Apakah Disallow mencegah halaman muncul di hasil pencarian?

Tidak. Disallow menghentikan perayapan, bukan pengindeksan. Halaman yang diblokir masih dapat muncul di hasil jika ditautkan dari halaman lain, hanya saja tanpa deskripsi. Gunakan tag meta atau header noindex pada halaman yang dapat dirayapi untuk mengeluarkannya dari indeks.

Mengapa Crawl-delay ditandai?

Google mengabaikan direktif Crawl-delay, sedangkan Bing mematuhinya. Penguji menyebutkannya agar Anda tahu bahwa direktif ini tidak memperlambat Googlebot.

Apakah ada batas ukuran?

Google membaca 500 KiB pertama dari file robots.txt dan mengabaikan sisanya. Penguji membaca jumlah yang sama dan memberi peringatan jika file lebih panjang.

Berapa banyak URL yang dapat saya uji?

Maksimal 50 per permintaan. Mengambil robots.txt secara langsung dihitung sebagai satu permintaan, dan setiap pengunjung dapat menjalankan sejumlah tes terbatas per menit.

Tentang OneClick Pro

OneClick Pro adalah kumpulan gratis berisi lebih dari 150 alat web untuk pekerjaan sehari-hari: mengonversi gambar dan satuan, memformat dan memvalidasi kode, memeriksa domain dan SEO, serta bekerja dengan teks, tanggal, dan angka. Setiap alat dapat digunakan tanpa registrasi atau berlangganan, dan apa pun yang Anda masukkan hanya digunakan untuk menghitung hasil dan tidak pernah disimpan. Gunakan sebagai kotak alat praktis untuk tugas sesekali, atau simpan alat yang Anda gunakan setiap hari ke bookmark.