Sorun Cevaplayalım

XenForo hakkında merak ettiğiniz tüm soru(n)lara 7/24 destek.

Çözümlenmiş Sorunlar

Yaşanan sorunların kolay çözüm yolları ve anlatımları.

Destek Ekibimiz Sizlerle

Ücretli destek talepleri ve özel hizmetler için yanınızdayız.

Bilgi XenForo için Önerilen Robots.txt Dosyası

Kullanıcı Değerlendirmesi
5.00 Oylama

MySimS3k®

Mehmet Yılmaz Şimşek
Yasaklı
Katılım
19 Mar 2019
Mesajlar
103
Tepki puanı
178
Puanları
43
Konum
Adana
Web Sitesi
xenforotr.com

İtibar Puanı:

robots_txt.jpeg

XenForo Robots.txt dosyaları hakkında birçok makale yada farklı kayıtlar bulabilirsiniz.
Her kullanıcı kendine özgü robots.txt dosyası, oluşturabilir.

Peki nedir bu dosya ne işe yarar?

Robots.txt sitenin ana dizininde bulunan ismi değişmeyen, Google Botları için kılavuz bir dosyadır. Yani Google Botları sitenizi ziyaret ettiğinde, dosyanız varsa ilk Robots.txt dosyasına girecektir, yoksa işiniz zor, Robots.txt dosya içersinde bazı kodlar görecektir ve bu kodlar doğrultusunda nereleri indexleyeceğini, nerelere girmeyeceğini anlayacaktır.

Sonuç olarak Robots.txt Google botları için olmazsa olmazlardandır bu konuda detaylı bilgi isteyenler aşağıdaki makale linkine gözatabilirler.

Değerli ziyaretçimiz lütfen, içeriği görüntüleyebilmek için Giriş Yap veya Kayıt Ol anlayışınız için teşekkürler.


Yeni bir metin belgesi açalım ismini Robots.txt yapalım. Robots.txt dosyamız içersinde iki farklı değişkenimiz olacak. Bunlar ve anlamları şöyledir:

User-agent: Google Botu’nun adı gelecek
Disallow: Botun izinlerini gireceğimiz komutlar yer alacak

Robot.txt Komutları ve Anlamları

User-agent: ilgili botun adını belirler
User-agent: DeepCrawl #Burada boot adı DeepCrawl
User-agent: * #* Tüm borları kapsaması anlamına gelir.
Crawl-delay: Verilerin çekilmesi için zaman aralığı belirler.
Crawl-delay: 60 #Bu alanda ilgili bota 60 saniye aralıklar ile veri çekim komutu verilmiştir.
Request-rate: Verilerin çekimini oranlılar.
Request-rate: 5/10 #Her 10 saniyede en fazla 5 sayfalık veri çeker
Request-rate: 10/5 #Her 5 saniyede en fazla 10 sayfalık veri çeker
Visit-time:
Ziyaret zamanlarını belirler
Visit-time: 0800-1145 # saat 08.00 ile 11.45 Saatleri arasında ziyaret talep edilmiştir.
Allow: Verilerin çekmek için izin verir.
Allow: /dosya/dosyaadı .html #Bu dosyadan,sayfadan verilerin çekilmesine izin verilmiştir.
Allow: /dosya/ #Adı geçen dosya ve içerisindeki tüm verilerin çekilmesine izin verilmiştir.

Disallow: Verilerin çekilmesini engeller.
Disallow:/dosya/dosyaadı.html #Bu dosyadan,sayfadan veri çekilmesi engellenmiştir.
Disallow:/dosya/ #Bu dosyadan, sayfadan ve içerisindeki tüm alanlardan, sayfalardan veri çekilmesi engellenmiştir.

XenForo için ideal Robots.txt Nasıl olmalı?

Kod:
Değerli ziyaretçimiz lütfen, içeriği görüntüleyebilmek için Giriş Yap veya Kayıt Ol anlayışınız için teşekkürler.
Default olarak kullanılan kodlara aşağıda yer alan bağlantı üzerinden ulaşabilirsiniz.

Değerli ziyaretçimiz lütfen, içeriği görüntüleyebilmek için Giriş Yap veya Kayıt Ol anlayışınız için teşekkürler.


Ek konu bağlantısı:
Değerli ziyaretçimiz lütfen, içeriği görüntüleyebilmek için Giriş Yap veya Kayıt Ol anlayışınız için teşekkürler.
 

NoFeaR

Lisanslı Üye
Lisanslı Üye
Katılım
14 Eyl 2019
Mesajlar
41
Tepki puanı
32
Puanları
18
Web Sitesi
www.civictr.com

İtibar Puanı:

Merhaba,
@Ovunc Dinc @MySimS3k® @XenTR

Xenforo nun robots dosyasında members a izin verilmiş, bu doğru bir hareket mi anlayamadım?Kendi sitemde üye indexi açık olduğu için google üyeleri indexlemekten konuları eksik indexlemiş. Şimdi ise members engeller isem google indexte bulamadığı için tüm indexlerimi etkiler mi diye çekiniyorum sizce ne yapmalıyım?

Xentr.net robots dosyasında Disallow: /members/ yazıyor ama sitemap te üyeler de gözüküyor.
Bu işin doğrusu nedir sitem zarar görmeden ne yapmalıyım yardımcı olur musunuz?

Teşekkürler.
 

Kunteper

··Thinks Different··
Yönetici
Admin
Müşteri
Lisanslı Üye
Katılım
2 Şub 2019
Mesajlar
16
Tepki puanı
25
Puanları
13

İtibar Puanı:

Merhaba,
@Ovunc Dinc @MySimS3k® @XenTR

Xenforo nun robots dosyasında members a izin verilmiş, bu doğru bir hareket mi anlayamadım?Kendi sitemde üye indexi açık olduğu için google üyeleri indexlemekten konuları eksik indexlemiş. Şimdi ise members engeller isem google indexte bulamadığı için tüm indexlerimi etkiler mi diye çekiniyorum sizce ne yapmalıyım?

Xentr.net robots dosyasında Disallow: /members/ yazıyor ama sitemap te üyeler de gözüküyor.
Bu işin doğrusu nedir sitem zarar görmeden ne yapmalıyım yardımcı olur musunuz?

Teşekkürler.
Google index bulunamadı raporunu kırık linklerde ve siteye erişim hatası durumlarında verir sadece, sizin members'ı disallow etmeniz sitemap listinizi hataya düşürmez, sadece daha önce index almış üye isimlerini yavaş yavaş silecektir arama sonuçlarından. Burada verilen robots.txt dosyası içerik/kaynak odaklı bir forum sitesi için önerilmiştir ama siz derseniz ki benim üyelerimde index alsın kendinize göre düzenleyebilirsiniz.
 

NoFeaR

Lisanslı Üye
Lisanslı Üye
Katılım
14 Eyl 2019
Mesajlar
41
Tepki puanı
32
Puanları
18
Web Sitesi
www.civictr.com

İtibar Puanı:

Google index bulunamadı raporunu kırık linklerde ve siteye erişim hatası durumlarında verir sadece, sizin members'ı disallow etmeniz sitemap listinizi hataya düşürmez, sadece daha önce index almış üye isimlerini yavaş yavaş silecektir arama sonuçlarından. Burada verilen robots.txt dosyası içerik/kaynak odaklı bir forum sitesi için önerilmiştir ama siz derseniz ki benim üyelerimde index alsın kendinize göre düzenleyebilirsiniz.
Members disallow yapmayı daha önce denedim, her gün search console panelden hata mesajları almaya başladım, bu durum google tarafından sıkıntılı gözüküp site hitini etkiler diye disallow silmek zorunda kaldım.
Simdi ise google botlar members indexi almaktan hit yapabilecek konuları indexe almıyor, hariç bırakıldı olarak bekletiyor.
Gün geçtikçe de google index sayısı düşüyor, sıkıntısız nasıl düzenlerim bunu bulmaya çalışıyorum.

Değerli ziyaretçimiz lütfen, içeriği görüntüleyebilmek için Giriş Yap veya Kayıt Ol anlayışınız için teşekkürler.


Değerli ziyaretçimiz lütfen, içeriği görüntüleyebilmek için Giriş Yap veya Kayıt Ol anlayışınız için teşekkürler.
 

NoFeaR

Lisanslı Üye
Lisanslı Üye
Katılım
14 Eyl 2019
Mesajlar
41
Tepki puanı
32
Puanları
18
Web Sitesi
www.civictr.com

İtibar Puanı:

Bu arada site de yapılan düzenlemeden dolayı son mesajım gitmiş, ekran görüntülerini dün almıştım mesajı tekrar yazarken search console tekrar girdim hariç bırakılan link sayısı gittikçe yükseliyor, index sayısıda tersi olarak azalıyor.
Bugün ki search console ekran görüntüsü,

Değerli ziyaretçimiz lütfen, içeriği görüntüleyebilmek için Giriş Yap veya Kayıt Ol anlayışınız için teşekkürler.


Değerli ziyaretçimiz lütfen, içeriği görüntüleyebilmek için Giriş Yap veya Kayıt Ol anlayışınız için teşekkürler.
 

NoFeaR

Lisanslı Üye
Lisanslı Üye
Katılım
14 Eyl 2019
Mesajlar
41
Tepki puanı
32
Puanları
18
Web Sitesi
www.civictr.com

İtibar Puanı:

Kendimce şu şekilde bir çözüm üretmeye çalıştım, site haritasında kullanıcıları kaldırarak yeni bir harita oluşturdum. Search console yeni haritayı tekrar gönderdim, robots dosyasından kullanıcıları engellemedim. Yeni harita tekrar işlenene kadar botlar hata görmemiş olur diye düşündüm.
Sizlerin başka bir önerisi var mı?
 

Ovunc Dinc

XenTR Ekibi
Yönetici
Admin
XenTR Mod
Müşteri
Lisanslı Üye
Premium
Katılım
2 Şub 2019
Mesajlar
894
Tepki puanı
1,915
Puanları
93
Web Sitesi
xentr.net

İtibar Puanı:

@NoFeaR yaşadığın hatalar aslında tam olarak, @Kunteper arkadaşımızın bahsettiği gibi.
Yıllardır google bizi sevsin diye çırpınıp duruyoruz bu da sanırım hep böyle devam edecek, şahsi sitelerimde ben aşağıda belirtiğim robots.txt içeriğini kullanıyorum;

Kod:
Değerli ziyaretçimiz lütfen, içeriği görüntüleyebilmek için Giriş Yap veya Kayıt Ol anlayışınız için teşekkürler.
Bir arama motoru site ziyaretinde her alanı loglamak istiyor, bunun eksi ve pozitif yönlerini klavuz olarak ele alıpta paylaşan bir araştırma sonucu görmedim.
Ben genelde robotlara içerik gizlemeyi doğru bulmuyor.
 

NoFeaR

Lisanslı Üye
Lisanslı Üye
Katılım
14 Eyl 2019
Mesajlar
41
Tepki puanı
32
Puanları
18
Web Sitesi
www.civictr.com

İtibar Puanı:

@Ovunc Dinc Robots.txt içeriğini aşağıdaki şekilde yaptım, sitemap ten kullanıcıları çıkardım, google kendi indexlemek istiyorsa index e alsın diye düşündüm. Anladığım kadarıyla önceliği bizim gönderdiğimiz site haritasına veriyor, sonrasında diğer içeriklere veriyor. Site haritasını hafiflettiğim için belki bu şekilde öncelikli konuları indexler.

Kod:
Değerli ziyaretçimiz lütfen, içeriği görüntüleyebilmek için Giriş Yap veya Kayıt Ol anlayışınız için teşekkürler.
 

montezuma

Lisanslı Üye
Lisanslı Üye
Katılım
21 Haz 2019
Mesajlar
48
Tepki puanı
42
Puanları
18
Yaş
44
Web Sitesi
osxinfo.net

İtibar Puanı:

@Ovunc Dinc Robots.txt içeriğini aşağıdaki şekilde yaptım, sitemap ten kullanıcıları çıkardım, google kendi indexlemek istiyorsa index e alsın diye düşündüm. Anladığım kadarıyla önceliği bizim gönderdiğimiz site haritasına veriyor, sonrasında diğer içeriklere veriyor. Site haritasını hafiflettiğim için belki bu şekilde öncelikli konuları indexler.

Kod:
Değerli ziyaretçimiz lütfen, içeriği görüntüleyebilmek için Giriş Yap veya Kayıt Ol anlayışınız için teşekkürler.
Aynı sorun bende de var. Yeni robot dosyasını ekledikten sonra kapsama sorunlarında bir iyileşme oldu mu?
 

NoFeaR

Lisanslı Üye
Lisanslı Üye
Katılım
14 Eyl 2019
Mesajlar
41
Tepki puanı
32
Puanları
18
Web Sitesi
www.civictr.com

İtibar Puanı:

Aynı sorun bende de var. Yeni robot dosyasını ekledikten sonra kapsama sorunlarında bir iyileşme oldu mu?
Kapsam sorunu çıkmasın diye, robot.txt dosyasına Disallow: / member eklemedim. Yeni gönderdiğim site haritasında konu ve forumlar var üyeler yok. Şu anda Tarandı - şu anda dizine eklenmiş değil 6080 link gözüküyor, bu değer üyeler site haritasında giderken 31k civarıydı, bu şekilde şu anda hata almıyorum.
 

Ovunc Dinc

XenTR Ekibi
Yönetici
Admin
XenTR Mod
Müşteri
Lisanslı Üye
Premium
Katılım
2 Şub 2019
Mesajlar
894
Tepki puanı
1,915
Puanları
93
Web Sitesi
xentr.net

İtibar Puanı:

Kapsam sorunu çıkmasın diye, robot.txt dosyasına Disallow: / member eklemedim. Yeni gönderdiğim site haritasında konu ve forumlar var üyeler yok. Şu anda Tarandı - şu anda dizine eklenmiş değil 6080 link gözüküyor, bu değer üyeler site haritasında giderken 31k civarıydı, bu şekilde şu anda hata almıyorum.
Ben şahsen bunu panelden yapmayı öneririm.

/admin.php?options/groups/sitemap/

1573147104187.png
 
Üst