apa itu robots.txt

Robots.txt | Apa itu robots.txt? Hm.. postingan yang mungkin terlambat karen sudah sangat banyak webmaster yang membahas tentang ini, tapi tidak mengapa saya singgung sedikit. Berdasarkan hasil pembacaan saya dari beberapa sumber, dapat saya simpulkan dengan bahasa saya sendiri bahwa:
Robots.txt adalah peta 
Mengapa saya katakan peta, karena robots.txt menggambarkan dan menyempaikan keseluruhan konten atau isi dalam blog kepada search engine. Maksudnya, jika search engine mengunjungi blog anda, maka dia terlebih dahulu akan melihat robots.txt. Apakah konten ini bisa saya perlihatkan kepada pengunjung atau tidak. Jadi di robots.txt anda dapat mengatur privasi dari konten blog anda.

langsung saja ke cara pengaktifan bagi yang belum aktif dan pemasangan yang belum terpasang robots.txt nya:
  1. pada dashboar blog anda, pilih setelan
  2. Pada sub menu setelan, pilih Preferensi penelusuran
  3. Pilih Robots.txt Khusus dan pilih edit
  4. copy dan paste kode di bawah ini pada robots.txt tadi
    User-agent: Mediapartners-Google
    Disallow: User-agent: *
    Sitemap: http:/
    Disallow: /search Allow:
    //yusrandante.blogspot.com/feeds/posts/default?orderby=UPDATED
    yang berwarna merah, ganti dengan url blog anda
  5. Kode di atas merupakan kode yang hampir semua master menggunakannya setelah saya cek sendiri. Cara mengecek robots.txt suatu blog yaitu dengan menambahkan /robots.txt setelah alamat url nya >> contoh: yusrandante.blogspot.com/robots.txt
sekian dan wassalam

19 komentar:

  1. . . untungnya pake itu apa ya?!? . .

    BalasHapus
    Balasan
    1. itu sebenarnya bahasa yang di khususkan untuk di baca oleh search engine, jadi untuk memudahkan search engine saja kawan..

      Hapus
    2. . . ada efek samping nya gak kawan?!? . .

      Hapus
    3. tidak ada efek sampingnya, ini untuk memudahkan search engine untuk mengindeks kontenyang ada di blog mbak...

      Hapus
  2. wah jadi dengan robot txt, konten blog kita cepat terindeks ya sob, trims infonya

    BalasHapus
  3. Balasan
    1. tidak gan, karena ini berfungsi untuk mempermudah search engine membaca konten/isi di blog agan,...
      jadi tidak melanggar kok..

      Hapus
  4. laba-laba adalah salah satu "arsitek" luar biasa yang membangun sarang sekaligus perangkap untuk mangsa nya. :)

    BalasHapus
    Balasan
    1. terima kasih sudah memberikan informasi tentang laba-laba sobat, tapi kayaknya tidak sesuai konten deh..

      Hapus
    2. duh, maaf nih tapi aku pengen bahas aja tentang logo dari laba2 itu. maaf ya, tapi jujur aku udah baca kok kemaren2..

      Hapus
    3. hehehe.. iya sobat,..

      happy blogging aja ya...

      Hapus
  5. hem.. boleh juga...
    saya setuju gan...
    agar memudahkan search engine, mengenali blog kita....
    mantab....

    salam blogger

    BalasHapus
    Balasan
    1. iya sob, terima kasih sudah menyempatkan untuk berkkomentar

      Hapus
  6. robot ini cuma berguna buat google aja apa sama search engine lainnya sobat?

    BalasHapus
    Balasan
    1. Berlaku umum gan, tapi sepertinya lebih ke google karena google merupakan search engine no 1 sekarang ini..

      Hapus
  7. Peringatan! Gunakan dengan hati-hati. Penggunaan yang tidak tepat dari fitur tersebut dapat mengakibatkan blog Anda diabaikan oleh mesin telusur. <<< pesan dari blogger sendiri bg ,,, maksud'a apa ya -,-

    nah trus kalo kita kasih link sitemap yg di online.webceo.com apa ga pa2 itu bg ,,

    sorry banyak nanya ,, newbie soal'a hehe ,,
    salam kenal juga bg bero :D

    BalasHapus
  8. konten obot.txt tidak mematuhi aturan format

    Maksudnya apa gan.?
    Padahal sudah sesuai dengan tutorial yang agan berikan.

    Mohon pencerahannya.
    terimakasih.

    BalasHapus