Bilgi XenForo için Önerilen Robots.txt Dosyası

Bilgi XenForo için Önerilen Robots.txt Dosyası
26
18K
robots_txt.jpeg

XenForo Robots.txt dosyaları hakkında birçok makale yada farklı kayıtlar bulabilirsiniz.
Her kullanıcı kendine özgü robots.txt dosyası, oluşturabilir.

Peki nedir bu dosya ne işe yarar?

Robots.txt sitenin ana dizininde bulunan ismi değişmeyen, Google Botları için kılavuz bir dosyadır. Yani Google Botları sitenizi ziyaret ettiğinde, dosyanız varsa ilk Robots.txt dosyasına girecektir, yoksa işiniz zor, Robots.txt dosya içersinde bazı kodlar görecektir ve bu kodlar doğrultusunda nereleri indexleyeceğini, nerelere girmeyeceğini anlayacaktır.

Sonuç olarak Robots.txt Google botları için olmazsa olmazlardandır bu konuda detaylı bilgi isteyenler aşağıdaki makale linkine gözatabilirler.

Robots.txt dosyaları hakkında bilgi edinme

Yeni bir metin belgesi açalım ismini Robots.txt yapalım. Robots.txt dosyamız içersinde iki farklı değişkenimiz olacak. Bunlar ve anlamları şöyledir:

User-agent: Google Botu’nun adı gelecek
Disallow: Botun izinlerini gireceğimiz komutlar yer alacak

Robot.txt Komutları ve Anlamları

User-agent: ilgili botun adını belirler
User-agent: DeepCrawl #Burada boot adı DeepCrawl
User-agent: * #* Tüm borları kapsaması anlamına gelir.
Crawl-delay: Verilerin çekilmesi için zaman aralığı belirler.
Crawl-delay: 60 #Bu alanda ilgili bota 60 saniye aralıklar ile veri çekim komutu verilmiştir.
Request-rate: Verilerin çekimini oranlılar.
Request-rate: 5/10 #Her 10 saniyede en fazla 5 sayfalık veri çeker
Request-rate: 10/5 #Her 5 saniyede en fazla 10 sayfalık veri çeker
Visit-time:
Ziyaret zamanlarını belirler
Visit-time: 0800-1145 # saat 08.00 ile 11.45 Saatleri arasında ziyaret talep edilmiştir.
Allow: Verilerin çekmek için izin verir.
Allow: /dosya/dosyaadı .html #Bu dosyadan,sayfadan verilerin çekilmesine izin verilmiştir.
Allow: /dosya/ #Adı geçen dosya ve içerisindeki tüm verilerin çekilmesine izin verilmiştir.

Disallow: Verilerin çekilmesini engeller.
Disallow:/dosya/dosyaadı.html #Bu dosyadan,sayfadan veri çekilmesi engellenmiştir.
Disallow:/dosya/ #Bu dosyadan, sayfadan ve içerisindeki tüm alanlardan, sayfalardan veri çekilmesi engellenmiştir.

XenForo için ideal Robots.txt Nasıl olmalı?

Kod:
Dear Guests, welcome! Please, Giriş Yap or Kayıt Ol to view hide content!

Default olarak kullanılan kodlara aşağıda yer alan bağlantı üzerinden ulaşabilirsiniz.

https://xenforo.com/robots.txt

Ek konu bağlantısı: Bilgi - Robots.txt Nedir? Ne işe yarar? XenForo da Nasıl Kullanılır?
 
Sota bir şey sorabilir miyim kardeşim robot.txt de sitemap.xml olarak neden ayrıca belirttin? sitemap.php yi tıkladığında sitemap.xml e zaten yönlü.. Mantığını anlatabilir misin? Şimdi gördüm pardon kardeşim. Ben de senin ropot.txt nin aynısını kurdum. Tek eksik sitemap.xml di. Şimdi onu da ekleyeceğim.
 
Son düzenleme:
sitemaps'e xml veya php olarak ulaşmak mümkün. Bu yüzden her iki formatıda ekledim hangisini beğenirse ordan tarasın.
 
Selamlar ;

Resimde görülen alanlardan hangilerinin seçilmesi doğru olacaktır acaba ?

sitemap.png
 
Xf seçenekleri / xml site haritası seçenekleri kısmında hocam
 
Quick Jump
2,620Konular
12,449Mesajlar
1,428Kullanıcılar
Geri
Üst