Template dan Tips Seputar Blogger

Monday, June 19, 2017

Fungsi Robot.txt Pada Blogger

Fungsi Robot.txt Pada Blogger - Robot.txt pada blogger memang sangat penting yang berguna untuk membantu perayapan dan pengindeks'an blog di SE (Search Engine).

Fungsi Robot.txt Pada Blogger

Secara sederhana Robot.txt ini adalah sebuah konvensi untuk memerintah robot mesin pencari atau web crawler atau juga mencegah semua halaman untuk di indeks.

Misalnya Anda tidak ingin halaman tertentu ditampilkan kepada mesin pencari! dan dengan Robot.txt inilah kita bisa memanfaatkan fungsi dari robot.txt agar dapat memblokir halaman tersebut.

Semua blogspot sudah ada fitur robot txt yang telah diberikan oleh blogger, secara default robot.txt seperti dibawah ini :

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://blog.iumari.com/sitemap.xml

Pastinya Anda akan bingung, apa sebenarnya arti-arti dari kode diatas, baiklah Saya akan menjelaskannya satu-persatu.

Keterangan
User-agent: Mediapartners-Google User agent milik Google menandakan bahwa blog ini adalah milik Google
Disallow Tidak diperbolehkan tidak ada
User-agent: * Semua Robot Search Engine
Disallow: /search Tidak diperbolehkan merayapi folder search dan seterusnya
Allow: / Mengizinkan semua halaman untuk dirayapi, kecuali yang sudah Disallow.
Sitemap: http://blog.iumari.com/sitemap.xml Alamat feed blog/sitemap blog Anda

Mungkin itu saja sedikit penjelasan tentang fungsi dari Robot.txt semoga artikel ini bisa bermanfaat.

Berikan tanggapan Anda
EmoticonEmoticon

Adblock Detected

Like this blog? Keep us running by whitelisting this blog in your ad blocker

This is how to whitelisting this blog in your ad blocker

Thank you

×