Bir yolu kullanıcı aracısı grupları, joker kurallar ve izin/engel önceliğiyle test edin.
En fazla 2 MiB girdi. Robots.txt: 500 KiB. Yalnız herkese açık HTTP/HTTPS adresleri; 10 dakikada 20 istek.
Yapıştırılan veya yüklenen veri işlem için Revbu’ya gönderilir. Raporlar 30 dakika özel olarak saklanır.
Robots.txt kurallarını gerçek yollarla test edin
Tarama ile indekslemeyi ayırın
