Whatsapp
Tıkla Ara
Bu Ay Neler Oldu ? : Mahmut Bey İletişim Sayfasından Seo İçin Talepte Bulundu...
Seo / Google / Nedir / Robots.txt Nedir

Robots.txt Nedir

5
(11)

Robots.txt Nedir

Robots.txt, web sitelerinin ve sayfalarının ne şekilde taranacağını arama motorlarına (Google vb) açıklanmak suretiyle oluşturulmuş metin dosyalarından biridir. Robots.txt, REP’in  (Robot Dışlama Protokolü) parçalarından biridir. REP, robotlar tarafından web sitelerinizin nasıl taratıldığını, içeriklerinize nasıl erişebileceğinizi ve de içeriklerinizin dizine ne şekilde eklenebileceğini belirleyen bir gurup web standardı olarak tanımlanabilir. Ayrıca REP, meta robotlar gibi talimatların dışında, motorların bağlantılarına karşı nasıl davranması gerektiğiyle ilgili sayfa, alt dizin ya da site bütün hakkında talimatlarda içerir. (Takip et, takibi bırak gibi)

Robots.txt Dosyası Nasıl Oluşturulur

Robots.txt dosyasını oluşturmak basit bir işlemdir fakat bu dosyayı kesinlikle doğru oluşturmanız gerekir.

Bu dosyayı oluşturabilmeniz için öncelikle bilgisayarınız üzerinden bir not defteri veya bir metin düzenleyici açın. Adını robots.txt yapın. Daha sonra dosyanın içerisine gerekli olan tüm komutları kaydedip sitenizin kök dizinine yükleyerek işleminizi sonlandırın.

Ek olarak ; dosyanın UTF-8 karakter kodlamasına uygun bir şekilde hazırlanmış olması ve site URL’siyle aynı formatta olması gereklidir.

Robots.txt Komutları ve Anlamları

User-agent: Bu komut sitenize hangi arama motoru botunun gelip hangisinin gelmeyeceğini sağlar. Fakat yapım ve bakım aşamasında değilseniz sitenizi botlara kapatmamanızı tavsiye ederiz. Sitenizi arama motorlarının taramasını istemiyorsanız bu komutu dizin engelleme komutu olan disallow ile oluşturabilirsiniz.

Robots.txt Nasıl Çalışır

Arama motorlarının iki ana görevi vardır.

Birincisi içerikleri keşfetmek için web’i tararlar.

İkincisi ise araştırma yapan kişilerin hizmetlerine sunabilmek için dizine eklerler.

Armam motorları bazı siteleri gezerek milyonlarca siteye ulaşıp tarama yapar. Bu tür tarama işlemlerini yapabilen tarayıcılara ‘ örümcek ‘ denir.

Herhangi bir web sitesine giriş yapıldığı an örümceler tarama yapmadan önce bir robots.txt dosyası ararlar. Bir robots.txt dosyası bulunduğu an tarayıcı sayfayı taramadan önce dosyayı kontrol edip okuyacaktır. Robots.txt dosyaları, arama motorlarına komut vererek nasıl tarama yapmaları gerektiğini bildireceği için tarayıcılar daha düzenli tarama yapıp gereksiz tarama yapmayacaklardır. Fakat bir sitede bir robots.txt dosyası yok ise ya da var olan robots.txt dosyası herhangi bir sınırlama kuralı içermiyorsa tarayıcı bütün sitedeki sayfaları taramaya devam edecektir.

Robots.txt Hakkında Bilinmesi Gerekenler

Bir web sitesine üst düzey dizinine bir robots.txt dosyası yerleştirilir.

Robots.txt küçük ve büyük harflere duyarlı olduğu için, dosyanın adını ‘robots.txt’ yapmanız gerekir.

Farklı user agentler(robotlar) robots.txt dosyanızı görmezden gelebilir. Bunu genellikle ne olduğu belirsiz robotlar ya da e-posta hırsızları gibi bazı tarayıcılar yapar.

/robots.txt genel kullanıma sunulur. Örneğin, herhangi bir web sitesinin kurallarını görmek için herhangi bir kök domain adının sonuna /robots.txt eklemeniz gerekir. Bir robotx.txt dosyası varsa zaten karşınıza çıkacaktır.

Bir kök domain adının altında yer alan her subdomain, farklı bir robots.txt dosyasını kullanır. Yani hem blog.ornek.com hem de ornek.com’un kendisi ayrı ayrı birer robots.txt dosyasına sahip olmalıdır. (blog.ornek.com/robots.txt ve ornek.com/robots.txt)

Domain adıyla ilişkili herhangi bir sitemap’in yerini robots.txt dosyasının alt kısmında açıklamak genelde en iyi uygulamalardan bir tanesidir.

Neden bir robots.txt dosyasına ihtiyacınız var

Robots.txt dosyaları sitelerinizin belirli kısımlarına yönelik olan tarayıcı erişimini düzenler. Googlebot’un sitenizi taramasına yanlışlıkla izin vermezsiniz bu durum aşırı olumsuz sonuçlar doğurabilir.

Bir robots.txt dosyasının kullanışlı olabileceği yerlerde mevcuttur.

Kopya içeriğin    SERP’lerde görünmesini önleyebilirsiniz. Bunun için meta robotlar çok daha iyi bir seçimdir.

Web sitenizin belirli bölümlerini gizli tutabilirsiniz.

Dahili arama sonuçları sayfaları kamuya açık SERP’lerde gösterilmesini engelleyebilirsiniz.

Site haritalarının konumunu belirtebilirsiniz.

Arama motorlarının web sitenizde yer alan belirli dosyaları endekslemesini engelleyebilirsiniz.

 

Ana Kategori : Nedir

Bu yayın ne kadar yararlı oldu?

Oy vermek için yıldızlara tıklayın!

Ortalama puanı 5 / 5. Oy sayısı: 11

Şu ana kadar oy yok! Bu yazıyı ilk değerlendiren siz olun.

Mutlaka Okuyunuz

Ticimax Görsel Resim SEO Sistemi Hakkında

4.8 (29) Ticimax Görsel Resim SEO Sistemi Hakkında Görseller kullanıcılar ile etkileşim halinde olmanın en …

Bir cevap yazın

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir

10 + 3 =