Seo
Benzer Makaleler
Robots.txt Nedir
Robots.txt, web sitelerinin ve sayfalarının ne şekilde taranacağını arama motorlarına (Google vb) açıklanmak suretiyle oluşturulmuş metin dosyalarından biridir. Robots.txt, REP’in (Robot Dışlama Protokolü) parçalarından biridir. REP, robotlar tarafından web sitelerinizin nasıl taratıldığını, içeriklerinize nasıl erişebileceğinizi ve de içeriklerinizin dizine ne şekilde eklenebileceğini belirleyen bir gurup web standardı olarak tanımlanabilir. Ayrıca REP, meta robotlar gibi talimatların dışında, motorların bağlantılarına karşı nasıl davranması gerektiğiyle ilgili sayfa, alt dizin ya da site bütün hakkında talimatlarda içerir. (Takip et, takibi bırak gibi)
Robots.txt Dosyası Nasıl Oluşturulur
Robots.txt dosyasını oluşturmak basit bir işlemdir fakat bu dosyayı kesinlikle doğru oluşturmanız gerekir.
Bu dosyayı oluşturabilmeniz için öncelikle bilgisayarınız üzerinden bir not defteri veya bir metin düzenleyici açın. Adını robots.txt yapın. Daha sonra dosyanın içerisine gerekli olan tüm komutları kaydedip sitenizin kök dizinine yükleyerek işleminizi sonlandırın.
Ek olarak ; dosyanın UTF-8 karakter kodlamasına uygun bir şekilde hazırlanmış olması ve site URL’siyle aynı formatta olması gereklidir.
Robots.txt Komutları ve Anlamları
User-agent: Bu komut sitenize hangi arama motoru botunun gelip hangisinin gelmeyeceğini sağlar. Fakat yapım ve bakım aşamasında değilseniz sitenizi botlara kapatmamanızı tavsiye ederiz. Sitenizi arama motorlarının taramasını istemiyorsanız bu komutu dizin engelleme komutu olan disallow ile oluşturabilirsiniz.
Robots.txt Nasıl Çalışır
Arama motorlarının iki ana görevi vardır.
Birincisi içerikleri keşfetmek için web’i tararlar.
İkincisi ise araştırma yapan kişilerin hizmetlerine sunabilmek için dizine eklerler.
Armam motorları bazı siteleri gezerek milyonlarca siteye ulaşıp tarama yapar. Bu tür tarama işlemlerini yapabilen tarayıcılara ‘ örümcek ‘ denir.
Herhangi bir web sitesine giriş yapıldığı an örümceler tarama yapmadan önce bir robots.txt dosyası ararlar. Bir robots.txt dosyası bulunduğu an tarayıcı sayfayı taramadan önce dosyayı kontrol edip okuyacaktır. Robots.txt dosyaları, arama motorlarına komut vererek nasıl tarama yapmaları gerektiğini bildireceği için tarayıcılar daha düzenli tarama yapıp gereksiz tarama yapmayacaklardır. Fakat bir sitede bir robots.txt dosyası yok ise ya da var olan robots.txt dosyası herhangi bir sınırlama kuralı içermiyorsa tarayıcı bütün sitedeki sayfaları taramaya devam edecektir.
Robots.txt Hakkında Bilinmesi Gerekenler
Bir web sitesine üst düzey dizinine bir robots.txt dosyası yerleştirilir.
Robots.txt küçük ve büyük harflere duyarlı olduğu için, dosyanın adını ‘robots.txt’ yapmanız gerekir.
Farklı user agentler(robotlar) robots.txt dosyanızı görmezden gelebilir. Bunu genellikle ne olduğu belirsiz robotlar ya da e-posta hırsızları gibi bazı tarayıcılar yapar.
/robots.txt genel kullanıma sunulur. Örneğin, herhangi bir web sitesinin kurallarını görmek için herhangi bir kök domain adının sonuna /robots.txt eklemeniz gerekir. Bir robotx.txt dosyası varsa zaten karşınıza çıkacaktır.
Bir kök domain adının altında yer alan her subdomain, farklı bir robots.txt dosyasını kullanır. Yani hem blog.ornek.com hem de ornek.com’un kendisi ayrı ayrı birer robots.txt dosyasına sahip olmalıdır. (blog.ornek.com/robots.txt ve ornek.com/robots.txt)
Domain adıyla ilişkili herhangi bir sitemap’in yerini robots.txt dosyasının alt kısmında açıklamak genelde en iyi uygulamalardan bir tanesidir.
Neden bir robots.txt dosyasına ihtiyacınız var
Robots.txt dosyaları sitelerinizin belirli kısımlarına yönelik olan tarayıcı erişimini düzenler. Googlebot’un sitenizi taramasına yanlışlıkla izin vermezsiniz bu durum aşırı olumsuz sonuçlar doğurabilir.
Bir robots.txt dosyasının kullanışlı olabileceği yerlerde mevcuttur.
Kopya içeriğin SERP’lerde görünmesini önleyebilirsiniz. Bunun için meta robotlar çok daha iyi bir seçimdir.
Web sitenizin belirli bölümlerini gizli tutabilirsiniz.
Dahili arama sonuçları sayfaları kamuya açık SERP’lerde gösterilmesini engelleyebilirsiniz.
Site haritalarının konumunu belirtebilirsiniz.
Arama motorlarının web sitenizde yer alan belirli dosyaları endekslemesini engelleyebilirsiniz.
Ana Kategori : Nedir
