Cara Setting Perayapan Robot.txt - Robot.txt merupakan suatu setting perayapan google yang bisa kita modifikasi sesuai keinginan dan melarang apakah halaman tertentu boleh di index atau tidak oleh Google Crawl.
Berikut ini penjelasan resmi oleh Support Google mengenai, Memberikan akses ke perayap kami dalam file robot.txt.
Berikut contoh robot.txt :
User-agent: Mediapartners-Google
Disallow: /
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://www.materi-it.com/feeds/posts/default?orderby=UPDATED
Silahkan hapus dua baris pertama yang diberikan garis miring, untuk mengizinkan Google Crawl merayapi laman anda seperti yang tertulis disini Support Google Mengelola Situs Web.
Sekian artikel tentang Cara Setting Perayapan Robot.txt, semoga bermanfaat.
Tidak ada komentar:
Posting Komentar
Silahkan komentar jika ada yang ingin Anda tanyakan mengenai artikel Materi IT.
Jangan lupa melakukan Checklist "Notify me" untuk mendapatkan email balasan dari Admin.
Septian Maulana - 08997206535 (WhatsApp).
Computer Science:
Group CS - https://bit.ly/CSUtama
Group CS 2 - https://bit.ly/cs2group
Group CS 3 - https://bit.ly/cs3group
Group CS 4 - https://bit.ly/cs4group
Group CS 5 - https://bit.ly/cs5group
Group CS 6 - https://bit.ly/cs6group
Group CS Telegram - https://bit.ly/cstelgroup