Sorun Cevaplayalım

XenForo hakkında merak ettiğiniz tüm soru(n)lara 7/24 destek.

Çözümlenmiş Sorunlar

Yaşanan sorunların kolay çözüm yolları ve anlatımları.

Destek Ekibimiz Sizlerle

Ücretli destek talepleri ve özel hizmetler için yanınızdayız.

Bilgi XenForo için Önerilen Robots.txt Dosyası

Kullanıcı Değerlendirmesi
5.00 Oylama

MySimS3k®

Mehmet Yılmaz Şimşek
XenTR Üyesi
Lisanslı Üye
Premium
Katılım
19 Mar 2019
Mesajlar
96
Tepki puanı
173
Puanları
33
Konum
Adana
Web Sitesi
xenforotr.com
Üye ID
36

İtibar Puanı:

robots_txt.jpeg

XenForo Robots.txt dosyaları hakkında birçok makale yada farklı kayıtlar bulabilirsiniz.
Her kullanıcı kendine özgü robots.txt dosyası, oluşturabilir.

Peki nedir bu dosya ne işe yarar?

Robots.txt sitenin ana dizininde bulunan ismi değişmeyen, Google Botları için kılavuz bir dosyadır. Yani Google Botları sitenizi ziyaret ettiğinde, dosyanız varsa ilk Robots.txt dosyasına girecektir, yoksa işiniz zor, Robots.txt dosya içersinde bazı kodlar görecektir ve bu kodlar doğrultusunda nereleri indexleyeceğini, nerelere girmeyeceğini anlayacaktır.

Sonuç olarak Robots.txt Google botları için olmazsa olmazlardandır bu konuda detaylı bilgi isteyenler aşağıdaki makale linkine gözatabilirler.

Değerli ziyaretçimiz lütfen, içeriği görüntüleyebilmek için Giriş Yap veya Kayıt Ol anlayışınız için teşekkürler.


Yeni bir metin belgesi açalım ismini Robots.txt yapalım. Robots.txt dosyamız içersinde iki farklı değişkenimiz olacak. Bunlar ve anlamları şöyledir:

User-agent: Google Botu’nun adı gelecek
Disallow: Botun izinlerini gireceğimiz komutlar yer alacak

Robot.txt Komutları ve Anlamları

User-agent: ilgili botun adını belirler
User-agent: DeepCrawl #Burada boot adı DeepCrawl
User-agent: * #* Tüm borları kapsaması anlamına gelir.
Crawl-delay: Verilerin çekilmesi için zaman aralığı belirler.
Crawl-delay: 60 #Bu alanda ilgili bota 60 saniye aralıklar ile veri çekim komutu verilmiştir.
Request-rate: Verilerin çekimini oranlılar.
Request-rate: 5/10 #Her 10 saniyede en fazla 5 sayfalık veri çeker
Request-rate: 10/5 #Her 5 saniyede en fazla 10 sayfalık veri çeker
Visit-time:
Ziyaret zamanlarını belirler
Visit-time: 0800-1145 # saat 08.00 ile 11.45 Saatleri arasında ziyaret talep edilmiştir.
Allow: Verilerin çekmek için izin verir.
Allow: /dosya/dosyaadı .html #Bu dosyadan,sayfadan verilerin çekilmesine izin verilmiştir.
Allow: /dosya/ #Adı geçen dosya ve içerisindeki tüm verilerin çekilmesine izin verilmiştir.

Disallow: Verilerin çekilmesini engeller.
Disallow:/dosya/dosyaadı.html #Bu dosyadan,sayfadan veri çekilmesi engellenmiştir.
Disallow:/dosya/ #Bu dosyadan, sayfadan ve içerisindeki tüm alanlardan, sayfalardan veri çekilmesi engellenmiştir.

XenForo için ideal Robots.txt Nasıl olmalı?

Kod:
Değerli ziyaretçimiz lütfen, içeriği görüntüleyebilmek için Giriş Yap veya Kayıt Ol anlayışınız için teşekkürler.
Default olarak kullanılan kodlara aşağıda yer alan bağlantı üzerinden ulaşabilirsiniz.

Değerli ziyaretçimiz lütfen, içeriği görüntüleyebilmek için Giriş Yap veya Kayıt Ol anlayışınız için teşekkürler.


Ek konu bağlantısı:
Değerli ziyaretçimiz lütfen, içeriği görüntüleyebilmek için Giriş Yap veya Kayıt Ol anlayışınız için teşekkürler.
 
Üst