Robots.txt Nedir ? Nasıl Yapılır ?

Robots.txt dosyasının görevi Yandex, Google gibi arama motorlarının site içerisindeki bulunan kategorilerin, sayfaların ve içeriklerin indexlenmesini sağlar.
İndex Nedir ? 
İndex site içerisine girmiş olduğumuz yazıların ve  fotoğrafların arama motorları üzerinde kaydedilmesine ve onların size ait olduğunu kanıtlamak için ise index devreye girer. Sitenizdeki bir yazı eğer size aitse onun indexi size ait olur, fotoğraflarda aynı biçimdedir.
Eğer siteniz içerisinde indexlenmesini istemediğiniz bir yer varsa bunu robots.txt dosyasının içinde ayarlayabilirsiniz. Robots.txt dosyası sitenin ftpsinde ana dizin bölümünde bulunmaktadır, ana dizin genelde public_html olarak adlandırılmaktadır. Robots.txt üzerinde indexleri engelleyebildiğimiz gibi site içerisindeki bulunan içeriklerimizinde kolay bir şekilde indexlenmesini sağlayabiliriz. Seo dersleri altında en önemli etmenlerden biri olan robots.txt olmazsa olmazlardan biridir çünkü robots.txt dosyası sayesinde Google ve diğer arama motorlarının sitemizi daha kolay bir şekilde indexlenmesini sağlıyoruz.
Örnek bir robots.txt dosyası verecek olursak size şöyle gösterebilirim ;

User-agent :       Googlebot

Disallow: /wp-content/
Disallow: /trackback/
Disallow: /wp-admin/
Disallow: /archives/
Disallow: /index.php
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.css$
Disallow: */feed/
Disallow: */trackback/

User-agent: Googlebot-Image
Disallow: /wp-includes/

User-agent: ia_archiver
Disallow: /

User-agent: duggmirror
Disallow: /

En iyi ve en çok kullanılan robots.txt dosyası yukarıda gördüğünüzdür. Yukarıda gördüğünüz robots.txt kodlarını alıp bir metin belgesine yapıştırın ve bu işlemi yaptıktan sonra sitenizin ftpsine giriş yapın ana dizin dosyası olan public_html dosyasının içine olduğu gibi yapıştırın, bu sayede robots.txt dosyanız hazır olmuş oluyor ve bu sayede kolayca index alabilirsiniz.