Yanıtlandı Bilinmeyen bir sayfaya bakan google botlar

[HytaleTurkiye]

Sitedeki google botlar sürekli bilinmeyen bir sayfaya bakıyorlar bunların hangi linklere girdikleri görebildiğimiz bir sistem varmı?

Screenshot

Captured with Lightshot

prntscr.com

 

[XDinc]

Bu sorun genel anlamda /robots.txt dosyanızdan kaynaklanır.
Eğer arama motorlarına belirli dizinler için yapılandırma yapmaz iseniz onlar her alanı okuma ve indexleme sürecine bağlı kalırlar.

Google sitenizde "Disallow" olmayan tüm alanları tarıyor, ama bunların bazıları için sistemde bulunduğu alanlar (sayfalar) tanımlı değil.
Saygılar.

 

[XDinc]

İdeal bir robots.txt dosyası için aşağıda yer alan örneği kullanabilirsiniz.
Yapılan değişiklik 3-5 gün içerisinde size olumlu olarak yansıyacaktır.

Dear Guests, welcome! Please, Giriş Yap or Kayıt Ol to view hide content!

 

[HytaleTurkiye]

İdeal bir robots.txt dosyası için aşağıda yer alan örneği kullanabilirsiniz.
Yapılan değişiklik 3-5 gün içerisinde size olumlu olarak yansıyacaktır.

Dear Guests, welcome! Please, Giriş Yap or Kayıt Ol to view hide content!

Attığınız robots.txt gerekli kısımları düzenleyip site ana klasörüne attım teşekkür ederim

 

[HytaleTurkiye]

Birde rota filtreleri kısmından bir çok linki türkçeleştirdik bu türkçeleştirmenin robots.txt bir zararı olur mu?

 

[XDinc]

Birde rota filtreleri kısmından bir çok linki türkçeleştirdik bu türkçeleştirmenin robots.txt bir zararı olur mu?

Doğru olan rota filtresi eklediğiniz her iki koşulu yazmanız olur.
Örnek;

Dear Guests, welcome! Please, Giriş Yap or Kayıt Ol to view hide content!