Web Siteleri için Robot.Txt Hazırlama

Bir web sitesi için en önemli konulardan biride Robot.txt dosyasıdır . Webmaster tools kullanmaya başlayıp sitesinde Robot.txt dosyası olmayanlar ve nasıl yapıldığınıda bilmeyenler hemen bu konu ile ilgili araştırma yapmaya başlarlar . Robot.txt dosyası arama motorları için ve özellikle Google bot için aranan bir dosyadır , sitenizi ziyaret ettiğinde sitenizde Robot.txt dosyasını arar ve eğer varsa ilk olarak bu dosya okunur . Eğer web sitenize seo çalışması yapıyorsanız bu dosya kritik derecede önemlidir . Arama motoru botu sitenizdeki robot.txt dosyasında siteniz ile ilgili bilgileri alır ve nerelere girip nerelere girmeyeceğini bu dosya içinde anlar aynı şekilde diğer arama motorları içinde bu geçerlidir , eğer sitenizde bu dosya yoksa çoook büyük bit problem yoktur ama google tarafından eksi puan alırsınız , sonuçta tüm çabalarımız arama motoru google için ve o nererse neyi nasıl isterse öyle yapacaz başka çaresi yok . 

Robot.Txt Dosyası Nasıl Oluşturulur ?

Yeni bir metin dosyası açın ve dosyanın ismini Robot.Txt olarak değiştirin . Tüm arama motorlarına tarama izni vermek için dosyamızı açıp içine aşağıdaki satırları ekledikten sonra kaydedip kapatı  .

User-agent: *

Allow: /

Bu kodlar genel olarak tüm sitelerin Robot.txt dosyasında standart olarak vardır eğer arama motoru botlarının sitenizde girmesini istemediğiniz bir klasör v.s. varsa onları da bu dosya içinde belirterek arama sonuçlarında listelenmesini engelleyebilirsiniz . Örnek vermek gerekirse aşağıdaki kodlara bakabilirsiniz .

User-agent: *
Disallow: /admin/

Bu kodları eklediğinizde arama motoru web sitenizdeki Admin klasörüne giremyecek dolayısı ile bu klasörü indexlemeyecektir . Bir önceki yazımız olan " Bing arama motorunda seo nasıl yapılır " başlıklı makalemizi okuyarak web sitenize bing arama motorundan daha fazla ziyaretçi alabilirsiniz .