Robots.txt kurallarını gerçek yollarla test edin

Robots.txt kendi protokolü, alan adı ve portunda taramayı düzenler. Dosyayı https://example.com/robots.txt gibi köke koyun. Başka klasördeki dosya kök tarama politikası değildir. Tarayıcılar önceki sürümü önbelleğe alabilir; yerel test gerçek taramadan farklı olabilir.

Googlebot gibi tarayıcı adını seçip büyük/küçük harfe duyarlı yolu girin. Daha özgül kullanıcı aracısı grubu yıldız grubundan önce gelir. Seçilen aynı aracıya ait gruplar birleşir. Bu gruplarda en özgül eşleşme kazanır; eşit özgüllükte allow önceliklidir.

Örneğin Disallow: /private/ klasörü engeller; Allow: /private/public$ yalnız tam public yoluna izin verir. * jokeri herhangi bir diziyi eşleştirir, $ sonu belirtir. Sorgu dizisi test edilen yolun parçasıdır. Boş disallow taramayı kısıtlamaz.

Revbu eşleşen kuralları özgün satırlarıyla ve desteklenmeyen alanlarla gösterir. Google bu biçimde crawl-delay desteklemez. Başka tarayıcı için o tarayıcının belgelerini okuyun. Simülatör önbelleği, sunucu hatalarını veya tarayıcıya özel uzantıları tahmin etmez.