Robots.txt | Apa itu robots.txt? Hm.. postingan yang mungkin terlambat karen sudah sangat banyak webmaster yang membahas tentang ini, tapi tidak mengapa saya singgung sedikit. Berdasarkan hasil pembacaan saya dari beberapa sumber, dapat saya simpulkan dengan bahasa saya sendiri bahwa:

Robots.txt adalah peta 

Mengapa saya katakan peta, karena robots.txt menggambarkan dan menyempaikan keseluruhan konten atau isi dalam blog kepada search engine. Maksudnya, jika search engine mengunjungi blog anda, maka dia terlebih dahulu akan melihat robots.txt. Apakah konten ini bisa saya perlihatkan kepada pengunjung atau tidak. Jadi di robots.txt anda dapat mengatur privasi dari konten blog anda.

langsung saja ke cara pengaktifan bagi yang belum aktif dan pemasangan yang belum terpasang robots.txt nya:

1. pada dashboar blog anda, pilih setelan
2. Pada sub menu setelan, pilih Preferensi penelusuran
3. Pilih Robots.txt Khusus dan pilih edit
4. copy dan paste kode di bawah ini pada robots.txt tadi
   

   
   User-agent: Mediapartners-Google
   Disallow: 
   
   User-agent: *
   
   
   
   Sitemap: http:/
   Disallow: /search
   Allow: 
   
   //yusrandante.blogspot.com/feeds/posts/default?orderby=UPDATED
   

   yang berwarna merah, ganti dengan url blog anda
   
5. Kode di atas merupakan kode yang hampir semua master menggunakannya setelah saya cek sendiri. Cara mengecek robots.txt suatu blog yaitu dengan menambahkan /robots.txt setelah alamat url nya >> contoh: yusrandante.blogspot.com/robots.txt

sekian dan wassalam