Yanıtlandı Bilinmeyen bir sayfaya bakan google botlar

Yanıtlandı Bilinmeyen bir sayfaya bakan google botlar

HytaleTurkiye

Yönetici
XenTR Mod
Licenced
Katılım
25 Mar 2019
Mesajlar
240
Çözümler
7
Tepki puanı
313
Puanları
63
Sitedeki google botlar sürekli bilinmeyen bir sayfaya bakıyorlar bunların hangi linklere girdikleri görebildiğimiz bir sistem varmı?

 
Bilgi Kaynak Erişimi
https://xentr.net/

En Çok Tepki Alan 5 Mesaj

Bu sorun genel anlamda /robots.txt dosyanızdan kaynaklanır.
Eğer arama motorlarına belirli dizinler için yapılandırma yapmaz iseniz onlar her alanı okuma ve indexleme sürecine bağlı kalırlar.

Google sitenizde "Disallow" olmayan tüm alanları tarıyor, ama bunların bazıları için sistemde bulunduğu alanlar (sayfalar) tanımlı değil.
Saygılar.
 
İdeal bir robots.txt dosyası için aşağıda yer alan örneği kullanabilirsiniz.
Yapılan değişiklik 3-5 gün içerisinde size olumlu olarak yansıyacaktır.

Kod:
Dear Guests, welcome! Please, Giriş Yap or Kayıt Ol to view hide content!
Attığınız robots.txt gerekli kısımları düzenleyip site ana klasörüne attım teşekkür ederim ?
 
Birde rota filtreleri kısmından bir çok linki türkçeleştirdik bu türkçeleştirmenin robots.txt bir zararı olur mu?
 
Quick Jump
2,620Konular
12,449Mesajlar
1,428Kullanıcılar
Geri
Üst