Robots. Txt
Robots. Txt Robots. Txt sitenizin kök dizininde yer alan bir dosyadır. Arama motorları tarafından sitenize erişilmesini istemediğiniz yerler olabilir. Bu yerleri gösteren dosya olarak ta bu dizinin değerlendirilmesi mümkün olacaktır. Dosya içinde küçük bir komut seti bulunur. Bu set ile protokol robotlarının engelleme standartları kullanılmaktadır. Sitenin ana dizininde bulunan bu sistemin ismi değişmez. Özellikle Google […]