Posted by Materi Teknik Informatika • Informasi Teknologi Informasi • Digital Marketing on 3/29/2015
Label:
Blogger,
Label:
SEO
Cara Setting Perayapan Robot.txt - Robot.txt merupakan suatu setting perayapan google yang bisa kita modifikasi sesuai keinginan dan melarang apakah halaman tertentu boleh di index atau tidak oleh
Google Crawl.
Berikut ini penjelasan resmi oleh Support Google mengenai, Memberikan akses ke perayap kami dalam file robot.txt.
Berikut contoh robot.txt :
User-agent: Mediapartners-Google
Disallow: /
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://www.materi-it.com/feeds/posts/default?orderby=UPDATED
Silahkan
hapus dua baris pertama yang diberikan
garis miring, untuk mengizinkan
Google Crawl merayapi laman anda seperti yang tertulis disini
Support Google Mengelola Situs Web.
