Tarama ile indekslemeyi ayırın

Tarama izni sayfanın indekslendiğini göstermez. Robots.txt tarayıcının sayfayı isteyip isteyemeyeceğini düzenler; noindex HTML veya HTTP başlığında indeks yönergesidir. Canonical benzer içerikte temsilci adresi önerir. Her birinin amacı farklıdır.

Sayfayı robots.txt ile engellerseniz tarayıcı noindex yönergesini okuyamayabilir. Adres bazen içerik özeti olmadan arama sonuçlarında görünebilir. Gizli içerik için robots.txt yerine gerçek kimlik doğrulama ve erişim denetimi kullanın.

Tarama izni için kural testini, sunucunun güncel HTML ve X-Robots-Tag bilgisini görmek için sayfa kontrolünü kullanın. JavaScript ile değişen içerik sayfa kontrolü dışındadır. Güncel HTML, tarayıcının geçen hafta gördüğünü açıklamaz.

Gerçek durumu doğrulanmış webmaster mülkündeki URL incelemesiyle doğrulayın. Rapor zamanını, tarama iznini, seçilen canonicalı ve indeks kararını ayrı kaydedin. Temiz bir teknik kontrolden sıralama garantisi çıkarmayın.