Robot.txt Dosyası Nedir, Nasıl Kullanılır
Robot.txt yani robot engelleme standardı, arama motoru botlarının web sitesinin hangi bölümlerini ne şekilde tarayacağını direktirler ile aktarmada txt dokümanına verilen bir isimdir. Robot txt nedir ve nerede kullanılır genel olarak özetlersek, bu dosyayı verimli kullanarak sitenizin de alt klasörlerini, alt klasör içinde bulunan herhangi bir URL veya herhangi bir alt kırılımını içeren bir URL bloğunu da tümüyle arama motoru botlarının taramasına kapatır veya açar.
Sitelerin ana domain dizininde barındırılan robot.txt dosyası, günümüzün tüm büyük arama motorları tarafından takip edilir. Yani robot.txt dosyada oluşturulan komut direktiflerini arama motoru botları tarafından takip ederek sizin yönlendirmeleriniz dahilinde sitenin tarama işlemlerini gerçekleştirir. Büyük arama motorlarının önemli bir bölümü de robot.txt dosyasının robot.txt komutları direktiflerine uyumluluk gösterebilse de günümüzde hala robot.txt dosyasını pas geçen bot tipleri vardır.
Robot.txt Dosyası Nerede Bulunur?
Web sitelerine özel şekilde oluşturulan robot.txt dosyası, sitenin barındırıldığı ana dizin olan (httpdocs,public_html vb) üzerinde barındırılıyor. Herhangi bir sub folder yani alt klasör altına eklenmeden, doğrudan site ana dizi içerisinde diğer dokümanlarla beraber yalın işleme tabi tutulmadan barındırılır. Robot.txt dosyası nasıl çalışır genel olarak özetlersek şu şekildedir diyebiliriz:
- Robot.txt dosyası, txt formatında oluşturulur, içinde herhangi bir HTML işareti olmayan, kolay oluşturulabilir bir web dokümanıdır.
- Ana dizine eklenen robot.txt dosyası, web sitesinin URL uzantısı kısmında /robot.txt yazılarak görüntülenebilir.
- Web sitesini ziyaret eden arama motoru botları, sitelerin üzerinde herhangi bir tarama işlemine başlamadan öncesinde web sitesinde bulunan robot.txt dosyasını ziyaret ederek web sitesinin hangi bölümlerinin taramaya açık olup olmadıklarıyla alakalı direktifleri kontrol ederler.
Robot.txt Dosyası Oluşumu ve Kullanımı?
Robot.txt dosyası ile herhangi bir text editörü yani metinleri oluşturma editörü (metin belgesi) ile kolay bir şekilde oluşturulur. Robot.txt oluşturulurken çeşitli protokol formatları kullanılır böylece robot tarama direktifleri de oluşturulur. Protokol formatları kullanılarak arama motoru botlarının anlayacağı şekilde direktif iletilmektedir. Arama motoru botları için kullanılan protokol Robots Exclusion Protocol olarak adlandırılıyor.
Robot.txt dosyası oluşturma aşamasında bir uzmandan yardım almak, adımları daha sağlıklı şekilde atmanıza yarar. Öncelikle dosyanın adı robot.txt olmalıdır ve tamamen küçük harflerle sitenin kök dizinine yerleştirilmelidir. Bunun yanı sıra UTF-8 karakter kodlamasına da sahip olmalıdır.
Robot.txt Dosyası SEO İçin Neden Önemlidir?
Robot.txt dosyası, web sayfalarının sıralamasında doğrudan veya dolaylı olarak herhangi bir katkısı söz konusu olmaz. Robot.txt dosyasının web siteleri ve SEO süreçleri için de önemli olmasının en temel nedeni, taranabilirlik aşamasında üstlenmiş olduğu görevdir. Web sayfaların arama motoru botu tarafından daha bulunabilir olmasını sağlamanın anahtar adımı robot.txt dosyalarıdır. Aynı zamanda sitelerin verimli şekilde taranması adımında da oldukça kritik bir rol oynuyor.
