Robots.txt Denetleyicisi
Arama motoru tarayıcılarının bir sitenin robots.txt dosyasına göre bir sayfayı alıp alamayacağını test edin. Denetleyici robots.txt dosyasını indirir, Googlebot veya Bingbot gibi seçtiğiniz user agent için geçerli grubu bulur ve eşleşen kuralları RFC 9309 ile Google uygulamalarındaki gibi işler: en uzun eşleşen kural kazanır, eşitlikte Allow, Disallow'a üstün gelir ve * ile $ joker karakterleri desteklenir. Yayımlamadan önce değişiklikleri denemek için kendi robots.txt içeriğinizi de yapıştırabilirsiniz.
Sık sorulan sorular
Denetleyiciyi nasıl kullanırım?
Her satıra bir tane olmak üzere bir veya daha fazla URL girin. Denetleyicinin hangi sitenin robots.txt dosyasını alacağını bilmesi için ilk URL tam bir URL olmalıdır. Sonraki satırlarda aynı sitedeki tam URL'ler veya /admin/ gibi yollar bulunabilir. User agent'ı seçip testi çalıştırın.
Doğru kural grubu nasıl seçilir?
Tarayıcılar, User-agent satırı adlarıyla eşleşen grubu büyük küçük harf duyarlılığı olmadan kullanır. Tam eşleşen bir grup yoksa denetleyici, tarayıcının adının başlangıcıyla eşleşen en uzun adı kullanır; örneğin Googlebot-Image için googlebot. Böyle bir eşleşme de yoksa * grubunu kullanır. Aynı adlı birden fazla gruptaki kurallar birleştirilir.
Birden fazla kural eşleştiğinde hangisi geçerli olur?
En belirleyici kural, yani yol kalıbı en uzun olan kural geçerli olur. Allow ve Disallow kurallarının uzunluğu eşitse Allow kazanır. Bu davranış RFC 9309 içinde açıklanır ve Google ile Bing tarafından kullanılır.
Joker karakterler destekleniyor mu?
Evet. Yıldız işareti herhangi bir karakter dizisiyle eşleşir. Sondaki dolar işareti ise kuralı URL sonuna sabitler. Bu nedenle Disallow: /*.pdf$ ile .pdf ile biten her URL engellenir. Eşleşme büyük küçük harfe duyarlıdır ve sorgu dizgesini de kapsar.
Bir robots.txt dosyasını yayımlamadan önce test edebilir miyim?
Evet. İçeriğini robots.txt alanına yapıştırın. Denetleyici bu metni canlı dosyayı indirmek yerine kullanır; böylece ilk satırda bir yol da bulunabilir.
Sitede robots.txt dosyası yoksa ne olur?
robots.txt, 404 gibi bir 4xx durum koduyla yanıt verirse tarayıcılar her şeyi alabilir ve denetleyici her URL için erişime izin verildiğini bildirir. 5xx hatası verirse Google bir süreliğine sitenin tamamını engellenmiş sayar; denetleyici de bunu gösterir.
Disallow, bir sayfanın arama sonuçlarında görünmesini engeller mi?
Hayır. Disallow taramayı durdurur, dizine eklemeyi değil. Engellenen bir sayfa, başka sayfalar ona bağlantı veriyorsa açıklama olmadan sonuçlarda yine de görünebilir. Dizine eklenmesini engellemek için taranabilir bir sayfada noindex meta etiketi veya başlığı kullanın.
Crawl-delay neden işaretleniyor?
Google Crawl-delay yönergesini yok sayarken Bing bu yönergeye uyar. Test aracı, Googlebot'u yavaşlatmadığını bilmeniz için bu yönergeden söz eder.
Boyut sınırı var mı?
Google, robots.txt dosyasının ilk 500 KiB'ını okur ve geri kalanını yok sayar. Test aracı da aynı miktarı okur ve dosya daha uzunsa uyarır.
Kaç URL'yi test edebilirim?
İstek başına en fazla 50. Yayındaki robots.txt dosyasını almak bir istek sayılır ve her ziyaretçi dakikada sınırlı sayıda test çalıştırabilir.