Robots. Txt
Robots. Txt
Robots. Txt sitenizin kök dizininde yer alan bir dosyadır. Arama motorları tarafından sitenize erişilmesini istemediğiniz yerler olabilir. Bu yerleri gösteren dosya olarak ta bu dizinin değerlendirilmesi mümkün olacaktır. Dosya içinde küçük bir komut seti bulunur. Bu set ile protokol robotlarının engelleme standartları kullanılmaktadır. Sitenin ana dizininde bulunan bu sistemin ismi değişmez. Özellikle Google Botları bu dosyayı kılavuz olarak değerlendirir. Yani arama motorları sitenizi ziyaret ettiğinde ilk olarak eğer varsa robot.txt dosyasını ziyaret edecektir. Eğer bu dosyanız bulunmuyorsa işiniz oldukça güç olacaktır. Çünkü arama motorları dosya içinde gördüğü kodlara göre nerelerin indexleneceğini ve daha da önemlisi nelere girmemesi gerektiğini anlayacaktır.
Bu nedenle arama motorları için Robots. Txt dosyası olmazsa olmaz bir kullanıma sahiptir. Bu dosya içinde iki farklı değişken olacaktır. User agent, Google Botunun adı bu alana gelecektir. Disallow kısmında ise botun izinleri yer alması gereklidir. İlk kod kısmında * işareti var ise Google Botları tarafından tüm sitenin indexlenmesi sağlanacaktır. Eğer Disallow kısmında / işareti var ise arama motoru örümceklerinin site üzerindeki dosyaların tamamını taramasını istemiyor anlamına gelecektir. Bu durumda ise Google botları sitemizin hiçbir dosyasını indexlemeyecek hatta taramalara da almayacaktır. Bu alanda kullanılan DeepCrawl bir Google botu olmaktadır. Bu botun görevi ise sitenizi uzun aralıklarla ziyaret etmesi ve bu ziyaretlerde indexleme için gerekli olan bilgilerin toplanmasıdır.
Bu kodların anlamına gelindiğinde ise ismi verilen botun ilgili private klasörünü idexlememeli görevi olacaktır. Bu alanda Robots. Txt oldukça gereklidir. Arama motorlarına bu şekilde yön vermek mümkün olacaktır. Sadece belirli dosyaların listelenmesini istemiyorsanız ise Disallow: / directory/ dosya. Html şeklinde bir kullanım ile sıralamaya dahil olmasını istemediğiniz dosyayı bu şekilde ayırabilirsiniz. Arama motoru botları belirtilen dosyayı hiç görmeyecektir. Dosyaları tek tek belirtebilir ya da bir dosyayı ayırarak sitenin geri kalanının ziyaret edilmesini sağlayabilirsiniz. Arama motorlarına uyumlu bir SEO çalışması olarak değerlendirilebilecek bu dosyanın kullanımını doğru bir şekilde değerlendirdiğinizde sitenizin çok daha başarılı bir şekilde aramalarda yer alması mümkün olacaktır.
Bir önceki yazımız olan Sandbox başlıklı makalemizde sandbox hakkında bilgiler verilmektedir.
[…] önceki yazımız olan Robots. Txt başlıklı makalemizde robots.txt hakkında bilgiler […]