Sunucunda yer alan Robots.txt içeriğini aşağıdaki şekilde yaparsın!
Ne işe yaradıklarını da okursan iyi olur. Birde bana r..s deme lütfen ben bu kelimeyi sevmiyorum.
Kullanıcı adını işaretlemen yeterli.
Robot.txt Komutları ve Anlamları
User-agent: ilgili botun adını belirler
User-agent: DeepCrawl
#Burada boot adı DeepCrawl
User-agent: *
#* Tüm borları kapsaması anlamına gelir.
Crawl-delay: Verilerin çekilmesi için zaman aralığı belirler.
Crawl-delay: 60
#Bu alanda ilgili bota 60 saniye aralıklar ile veri çekim komutu verilmiştir.
Request-rate: Verilerin çekimini oranlılar.
Request-rate: 5/10
#Her 10 saniyede en fazla 5 sayfalık veri çeker
Request-rate: 10/5 #Her 5 saniyede en fazla 10 sayfalık veri çeker
Visit-time: Ziyaret zamanlarını belirler
Visit-time: 0800-1145
# saat 08.00 ile 11.45 Saatleri arasında ziyaret talep edilmiştir.
Allow: Verilerin çekmek için izin verir.
Allow: /dosya/dosyaadı .html
#Bu dosyadan,sayfadan verilerin çekilmesine izin verilmiştir.
Allow: /dosya/
#Adı geçen dosya ve içerisindeki tüm verilerin çekilmesine izin verilmiştir.
Disallow: Verilerin çekilmesini engeller.
Disallow:/dosya/dosyaadı.html #Bu dosyadan,sayfadan veri çekilmesi engellenmiştir.
Disallow:/dosya/ #Bu dosyadan, sayfadan ve içerisindeki tüm alanlardan, sayfalardan veri çekilmesi engellenmiştir.
XenForo için ideal Robots.txt Nasıl olmalı?