Welcome to XTR | Think Different and Make it...

Join us now to get access to all our features. Once registered and logged in, you will be able to create topics, post replies to existing threads, give reputation to your fellow members, get your own private messenger, and so, so much more. It's also quick and totally free, so what are you waiting for?

Bilgi XenForo için Önerilen Robots.txt Dosyası

Kullanıcı Değerlendirmesi
5.00 star(s)

MySimS3k®

Mehmet Yılmaz Şimşek
Yasaklı
Joined
Mar 19, 2019
Messages
99
Reaction score
180
Points
43
Location
Adana
Website
xenforotr.com
robots_txt.jpeg

XenForo Robots.txt dosyaları hakkında birçok makale yada farklı kayıtlar bulabilirsiniz.
Her kullanıcı kendine özgü robots.txt dosyası, oluşturabilir.

Peki nedir bu dosya ne işe yarar?

Robots.txt sitenin ana dizininde bulunan ismi değişmeyen, Google Botları için kılavuz bir dosyadır. Yani Google Botları sitenizi ziyaret ettiğinde, dosyanız varsa ilk Robots.txt dosyasına girecektir, yoksa işiniz zor, Robots.txt dosya içersinde bazı kodlar görecektir ve bu kodlar doğrultusunda nereleri indexleyeceğini, nerelere girmeyeceğini anlayacaktır.

Sonuç olarak Robots.txt Google botları için olmazsa olmazlardandır bu konuda detaylı bilgi isteyenler aşağıdaki makale linkine gözatabilirler.

Robots.txt dosyaları hakkında bilgi edinme

Yeni bir metin belgesi açalım ismini Robots.txt yapalım. Robots.txt dosyamız içersinde iki farklı değişkenimiz olacak. Bunlar ve anlamları şöyledir:

User-agent: Google Botu’nun adı gelecek
Disallow: Botun izinlerini gireceğimiz komutlar yer alacak

Robot.txt Komutları ve Anlamları

User-agent: ilgili botun adını belirler
User-agent: DeepCrawl #Burada boot adı DeepCrawl
User-agent: * #* Tüm borları kapsaması anlamına gelir.
Crawl-delay: Verilerin çekilmesi için zaman aralığı belirler.
Crawl-delay: 60 #Bu alanda ilgili bota 60 saniye aralıklar ile veri çekim komutu verilmiştir.
Request-rate: Verilerin çekimini oranlılar.
Request-rate: 5/10 #Her 10 saniyede en fazla 5 sayfalık veri çeker
Request-rate: 10/5 #Her 5 saniyede en fazla 10 sayfalık veri çeker
Visit-time:
Ziyaret zamanlarını belirler
Visit-time: 0800-1145 # saat 08.00 ile 11.45 Saatleri arasında ziyaret talep edilmiştir.
Allow: Verilerin çekmek için izin verir.
Allow: /dosya/dosyaadı .html #Bu dosyadan,sayfadan verilerin çekilmesine izin verilmiştir.
Allow: /dosya/ #Adı geçen dosya ve içerisindeki tüm verilerin çekilmesine izin verilmiştir.

Disallow: Verilerin çekilmesini engeller.
Disallow:/dosya/dosyaadı.html #Bu dosyadan,sayfadan veri çekilmesi engellenmiştir.
Disallow:/dosya/ #Bu dosyadan, sayfadan ve içerisindeki tüm alanlardan, sayfalardan veri çekilmesi engellenmiştir.

XenForo için ideal Robots.txt Nasıl olmalı?

Code:
Dear Guests, welcome! Please, Log in or Register to view hide content!
Default olarak kullanılan kodlara aşağıda yer alan bağlantı üzerinden ulaşabilirsiniz.

https://xenforo.com/robots.txt

Ek konu bağlantısı: Bilgi - Robots.txt Nedir? Ne işe yarar? XenForo da Nasıl Kullanılır?
 

Most Reacted 5 Post

Dear Guests, welcome! Please, Log in or Register to view hide content!
Google index bulunamadı raporunu kırık linklerde ve siteye erişim hatası durumlarında verir sadece, sizin members'ı disallow etmeniz sitemap listinizi hataya düşürmez, sadece daha önce index almış üye isimlerini yavaş yavaş silecektir arama sonuçlarından. Burada verilen robots.txt dosyası içerik/kaynak odaklı bir forum sitesi için önerilmiştir ama siz derseniz ki benim üyelerimde index alsın kendinize göre düzenleyebilirsiniz.
NoFeaR yaşadığın hatalar aslında tam olarak, Kunteper arkadaşımızın bahsettiği gibi.
Yıllardır google bizi sevsin diye çırpınıp duruyoruz bu da sanırım hep böyle devam edecek, şahsi sitelerimde ben aşağıda belirtiğim robots.txt içeriğini kullanıyorum;

Code:
Dear Guests, welcome! Please, Log in or Register to view hide content!
Bir arama motoru site ziyaretinde her alanı loglamak istiyor, bunun eksi ve pozitif yönlerini klavuz olarak ele alıpta paylaşan bir araştırma sonucu görmedim.
Ben genelde robotlara içerik gizlemeyi doğru bulmuyor.
Dear Guests, welcome! Please, Log in or Register to view hide content!
Kapsam sorunu çıkmasın diye, robot.txt dosyasına Disallow: / member eklemedim. Yeni gönderdiğim site haritasında konu ve forumlar var üyeler yok. Şu anda Tarandı - şu anda dizine eklenmiş değil 6080 link gözüküyor, bu değer üyeler site haritasında giderken 31k civarıydı, bu şekilde şu anda hata almıyorum.
Bu işi kökünden çözecek bir eklenti yapacağız kimse robotlarla ilgili en ufak bir sıkıntı yaşamayacak.
Zaman açısından biraz müsade etmeniz yeterli, daha önceden söz verdiğimiz bazı ürünler var bu hafta onları teslim edelim sonra ilk olarak bunu yapacağız.
Saygılar.

NoFeaR

Lisanslı Üye
Lisanslı Üye
XenTR Üyesi
Joined
Sep 14, 2019
Messages
62
Reaction score
48
Points
18
Website
www.teknoxl.com
Merhaba,
Ovunc Dinc MySimS3k® XenTR

Xenforo nun robots dosyasında members a izin verilmiş, bu doğru bir hareket mi anlayamadım?Kendi sitemde üye indexi açık olduğu için google üyeleri indexlemekten konuları eksik indexlemiş. Şimdi ise members engeller isem google indexte bulamadığı için tüm indexlerimi etkiler mi diye çekiniyorum sizce ne yapmalıyım?

Xentr.net robots dosyasında Disallow: /members/ yazıyor ama sitemap te üyeler de gözüküyor.
Bu işin doğrusu nedir sitem zarar görmeden ne yapmalıyım yardımcı olur musunuz?

Teşekkürler.
 

Kunteper

··Thinks Different··
Admin
Müşteri
SMS Confirmed
Lisanslı Üye
XenTR Üyesi
Joined
Feb 2, 2019
Messages
51
Reaction score
59
Points
18
Dear Guests, welcome! Please, Log in or Register to view hide content!
Google index bulunamadı raporunu kırık linklerde ve siteye erişim hatası durumlarında verir sadece, sizin members'ı disallow etmeniz sitemap listinizi hataya düşürmez, sadece daha önce index almış üye isimlerini yavaş yavaş silecektir arama sonuçlarından. Burada verilen robots.txt dosyası içerik/kaynak odaklı bir forum sitesi için önerilmiştir ama siz derseniz ki benim üyelerimde index alsın kendinize göre düzenleyebilirsiniz.
 

NoFeaR

Lisanslı Üye
Lisanslı Üye
XenTR Üyesi
Joined
Sep 14, 2019
Messages
62
Reaction score
48
Points
18
Website
www.teknoxl.com
Dear Guests, welcome! Please, Log in or Register to view hide content!
Members disallow yapmayı daha önce denedim, her gün search console panelden hata mesajları almaya başladım, bu durum google tarafından sıkıntılı gözüküp site hitini etkiler diye disallow silmek zorunda kaldım.
Simdi ise google botlar members indexi almaktan hit yapabilecek konuları indexe almıyor, hariç bırakıldı olarak bekletiyor.
Gün geçtikçe de google index sayısı düşüyor, sıkıntısız nasıl düzenlerim bunu bulmaya çalışıyorum.



 

NoFeaR

Lisanslı Üye
Lisanslı Üye
XenTR Üyesi
Joined
Sep 14, 2019
Messages
62
Reaction score
48
Points
18
Website
www.teknoxl.com
Bu arada site de yapılan düzenlemeden dolayı son mesajım gitmiş, ekran görüntülerini dün almıştım mesajı tekrar yazarken search console tekrar girdim hariç bırakılan link sayısı gittikçe yükseliyor, index sayısıda tersi olarak azalıyor.
Bugün ki search console ekran görüntüsü,



 

NoFeaR

Lisanslı Üye
Lisanslı Üye
XenTR Üyesi
Joined
Sep 14, 2019
Messages
62
Reaction score
48
Points
18
Website
www.teknoxl.com
Kendimce şu şekilde bir çözüm üretmeye çalıştım, site haritasında kullanıcıları kaldırarak yeni bir harita oluşturdum. Search console yeni haritayı tekrar gönderdim, robots dosyasından kullanıcıları engellemedim. Yeni harita tekrar işlenene kadar botlar hata görmemiş olur diye düşündüm.
Sizlerin başka bir önerisi var mı?
 

Ovunc Dinc

XenTR Yönetici
Admin
XenTR Mod
Müşteri
SMS Confirmed
Lisanslı Üye
XenTR Üyesi
Joined
Feb 2, 2019
Messages
1,394
Reaction score
2,952
Points
113
Website
xentr.net
NoFeaR yaşadığın hatalar aslında tam olarak, Kunteper arkadaşımızın bahsettiği gibi.
Yıllardır google bizi sevsin diye çırpınıp duruyoruz bu da sanırım hep böyle devam edecek, şahsi sitelerimde ben aşağıda belirtiğim robots.txt içeriğini kullanıyorum;

Code:
Dear Guests, welcome! Please, Log in or Register to view hide content!
Bir arama motoru site ziyaretinde her alanı loglamak istiyor, bunun eksi ve pozitif yönlerini klavuz olarak ele alıpta paylaşan bir araştırma sonucu görmedim.
Ben genelde robotlara içerik gizlemeyi doğru bulmuyor.
 

NoFeaR

Lisanslı Üye
Lisanslı Üye
XenTR Üyesi
Joined
Sep 14, 2019
Messages
62
Reaction score
48
Points
18
Website
www.teknoxl.com
Ovunc Dinc Robots.txt içeriğini aşağıdaki şekilde yaptım, sitemap ten kullanıcıları çıkardım, google kendi indexlemek istiyorsa index e alsın diye düşündüm. Anladığım kadarıyla önceliği bizim gönderdiğimiz site haritasına veriyor, sonrasında diğer içeriklere veriyor. Site haritasını hafiflettiğim için belki bu şekilde öncelikli konuları indexler.

Code:
Dear Guests, welcome! Please, Log in or Register to view hide content!
 

NoFeaR

Lisanslı Üye
Lisanslı Üye
XenTR Üyesi
Joined
Sep 14, 2019
Messages
62
Reaction score
48
Points
18
Website
www.teknoxl.com
Dear Guests, welcome! Please, Log in or Register to view hide content!
Kapsam sorunu çıkmasın diye, robot.txt dosyasına Disallow: / member eklemedim. Yeni gönderdiğim site haritasında konu ve forumlar var üyeler yok. Şu anda Tarandı - şu anda dizine eklenmiş değil 6080 link gözüküyor, bu değer üyeler site haritasında giderken 31k civarıydı, bu şekilde şu anda hata almıyorum.
 

NoFeaR

Lisanslı Üye
Lisanslı Üye
XenTR Üyesi
Joined
Sep 14, 2019
Messages
62
Reaction score
48
Points
18
Website
www.teknoxl.com
Ovunc Dinc Aynen bende panel üzerinden yaptım, şu an üye indexleme durdu, eski alınan indexler de dizine eklendi site haritasında gönderilmedi olarak gözüküyor (y)
 

montezuma

Lisanslı Üye
Lisanslı Üye
XenTR Üyesi
Joined
Jun 21, 2019
Messages
61
Reaction score
57
Points
18
Website
osxinfo.net
Dear Guests, welcome! Please, Log in or Register to view hide content!
Bu şekilde yaptığımdan beri hata yok. Ancak "uyarılarla geçerli" kısmında sorun var. bu yüzden robots.txt dosyasını #8 mesajdaki gibi yaptım. Ayrıca sormak istiyorum; kapsam içindeki "hariç bırakıldı" içidenki bağlantıların buraya eklenmesinin sebebi daha önce kullandığım robots.txt yüzünden kaynaklanmış olma ihtimali var mı?
 

NoFeaR

Lisanslı Üye
Lisanslı Üye
XenTR Üyesi
Joined
Sep 14, 2019
Messages
62
Reaction score
48
Points
18
Website
www.teknoxl.com
Dear Guests, welcome! Please, Log in or Register to view hide content!
Geçerli kısmında bulunan 6k gibi fazla index muhtemelen eski robots dosyasından kalma indexe alınmış linkler, bende de durum bu şekilde. Buradaki hariç bırakıldı kısmının içerisi genelde postlar konuların 2. ve sonrasındaki sayfalar vs. gibi linkler var, sitemap ile alakalı değiller.
Benim yukarıda paylaştığım ekran görüntüsü ile sizin paylaştığınız yerler aynı yer değil, benim bu sayfada 366 B yazıyor ;)
 

Ovunc Dinc

XenTR Yönetici
Admin
XenTR Mod
Müşteri
SMS Confirmed
Lisanslı Üye
XenTR Üyesi
Joined
Feb 2, 2019
Messages
1,394
Reaction score
2,952
Points
113
Website
xentr.net
Bu işi kökünden çözecek bir eklenti yapacağız kimse robotlarla ilgili en ufak bir sıkıntı yaşamayacak.
Zaman açısından biraz müsade etmeniz yeterli, daha önceden söz verdiğimiz bazı ürünler var bu hafta onları teslim edelim sonra ilk olarak bunu yapacağız.
Saygılar.
 

bebekforum

XenTR Müşterisi
Müşteri
SMS Confirmed
Lisanslı Üye
XenTR Üyesi
Joined
Jul 1, 2019
Messages
406
Reaction score
211
Points
43
Age
43
Location
Ankara
Website
www.bebekforum.net.tr
Dear Guests, welcome! Please, Log in or Register to view hide content!
Members ı disallow yapmak demek Forum’a konu yazan kullanıcıların yazdığı konuları da disallow yapmak demek değil mi? Members ı disallow yaparak Üyelerin yazdığı konular index almamasına sebebiyet verebiliriz diye düşünüyorum.
 

Ovunc Dinc

XenTR Yönetici
Admin
XenTR Mod
Müşteri
SMS Confirmed
Lisanslı Üye
XenTR Üyesi
Joined
Feb 2, 2019
Messages
1,394
Reaction score
2,952
Points
113
Website
xentr.net
Dear Guests, welcome! Please, Log in or Register to view hide content!
Bu bir düşünce ise uygulayıp sonucu görebilirsin abi.

Yada yazdıklarımı sonucu olarak kabul edebilirsin, members - disallow sadece kullanıcılar için profil sayfalarının index almamasını sağlar.
Bana sorarsan da olması gereken budur.
 

sehasteam

Kayıtlı Kullanıcı
XenTR Üyesi
Joined
Feb 14, 2020
Messages
19
Reaction score
7
Points
3
Ben resmi sitedeki gibi posts yapısını da devre dışı bıraktım. Çünkü biraz takip ettiğimde konu başlığıda o başlığa ait postlarda aynı sayfaya gidiyor ve yönlendirmeli sayfa gözüküyor.
 

Sota

XenTR Müşterisi
Müşteri
SMS Confirmed
Lisanslı Üye
XenTR Üyesi
Joined
Apr 18, 2019
Messages
268
Reaction score
174
Points
43
Location
Los Adanas
Website
tavsiyeforumu.com
Bu robots dosyasıda bana ait google console alınan hatalara göre oluşturdum.


User-agent: *
Disallow: /account/
Disallow: /admin.php
Disallow: /attachments/
Disallow: /conversations/
Disallow: /events/birthdays/
Disallow: /events/monthly/
Disallow: /events/weekly/
Disallow: /find-new/
Disallow: /goto/
Disallow: /help/
Disallow: /index.php?help/
Disallow: /index.php?lost-password/
Disallow: /index.php?help/terms
Disallow: /install/
Disallow: /login/
Disallow: /lost-password/
Disallow: /members/
Disallow: /misc/
Disallow: /misc/style?*
Disallow: /misc/quick-navigation-menu?*
Disallow: /online/
Disallow: /posts/
Disallow: /register/
Disallow: /search/
Disallow: /trophies/
Disallow: /uye/
Disallow: /whats-new/
Disallow: /*ref=*
Disallow: /*?ref=
Allow: /

Sitemap: https://tavsiyeforumu.com/sitemap.xml
Sitemap: https://tavsiyeforumu.com/sitemap.php
 
shape1
shape2
shape3
shape4
shape7
shape8
Top