Robots Txt Yapımı
Robots Txt Yapımı
Robots Txt Yapımı Seo ve arama motorları için önemli bir kriter olup, arama botlarına hangi kısımları indeksleyip hangi kısımları indekslemeyeceklerini gösteren bir harita gibidir. Kısaca bu dosya web sitesi sahiplerinin arama motorlarına sitesini indexle ya da indexleme dediği basit text dosyasıdır. Yanlış düzenlenmiş robots.txt dosyası bazen istemediğiniz kısımların indekslenmesine yada istediğiniz kısımların indekslenmemesine sebep olabilir.
Arama botları yada örümcekleri sitenize gelip indeksleme işlemine başlamadan önce, robots.txt dosyasının içeriğini kontrol ederek buna göre davranış sergilerler. Bu yüzden harita niteliği taşır ve önemlidir. Robots txt dosyasında şu terimler kullanılır; User-agent (Hangi arama motorlarının (google, yahoo, bing, msn, altavista…) gibi sitenizi indeksleme izni olduğunu belirtir.), kullanım örneği ise; user-agent: * (tüm arama motorları indeksleyebilir), Allow; İndekslenmesine izin verilecek olan dosya yada dizin için kullanılan komuttur. Kullanım örneği; Allow: /wp-content/uploads/, Disallow; İndekslenmesine izin vermediğiniz, ya da istemediğiniz dosya ve klasörler için kullanılır. Kullanım örneği; Disallow: /wp-admin/ şeklindendir. Robots txt yapımı sırasında dosyayı oluştururken dikkat edilmesi gereken hususlar; Dosya içerisindeki komutlarda yorum bulunmamalıdır. Satır başlarında boşluk olmamalı. Komutlar yanlış yazılmamalıdır. Komut sıralaması değiştirilmemeli. Birden fazla dizinin birden fazla dizinin indekslenmemesi istiyorsanız tek satırda belirtebilirsiniz. Örneğin; Disallow: /wp-content/wp-plugins/uploads. Dosya ve klasör isimlerini küçük harf ile yazın. Örneğin; Belirtmek istediğiniz klasör ismi Resimler olsa bile robots.txt dosyasına resimler olarak yazmalısınız. Standart bir robots.txt dosyasında en fazla 3 satır olur. Ama belli başlı nedenlerden dolayı robots.txt’yi düzenlemek isteyebilirsiniz. Böyle durumlarda ekleyeceğiniz ve kullanılan standart terimler vardır. Bu kelimeler sayesinde botların siteye erişimini düzenleyebilirsiniz. Botların siteye erişimini neden düzenleyeyim ki şeklinde soruları duyar gibiyim. Bunun birçok sebebi olabilir. Örneğin siteniz yapım aşamasında olabilir ve bu “yapım aşaması” sayfasının arama motorları dizininde bulunmasını istemeyebilirsiniz.
Robots txt yapımı ile arama motorları botlarının dışında kalan zararlı botları engellemek yapılabilecek şeylerden biri. Site mimariniz farklı ise ve kullandığınız site haritası ana dizin dışında bir yerdeyse robots.txt site haritası adresi için botları uyarabilir.
Bir önceki yazımız olan Seo Cezaları başlıklı makalemizde seo cezaları hakkında bilgiler verilmektedir.
[…] önceki yazımız olan Robots Txt Yapımı başlıklı makalemizde robots txt yapımı hakkında bilgiler […]