MENGENAL LEBIH DALAM ROBOTS.TXT KHUSUS
Mengenal Lebih Dalam Robots.txt Khusus - Delapan belas bulan yang lalu aku telah menuliskan artikel tentang Cara memasang robots.txt khusus, tetapi disana saya belum mengungkapkan secara spesifik mengenai robots.txt khusus tadi serta kali ini saya akan mencoba membahas dan mengungkapkan lebih dalam tentang robots.txt khusus ini. Search engine seperti google contohnya dalam dasarnya sudah mempunyai setelan default robots.txt dalam robot crawl (perayap google).
Perintah yang paling fundamental pada robots.txt default perayap google adalah merayapi seluruh bagian laman situs terkecuali halaman pencarian (search). Itu sebabnya konten unik menurut blogger pemula permanen bisa terindex dan timbul dihasil pencarian google meskipun tanpa melakukan Submit url maupun Fetch as Google. Dan peran robots.txt khusus pada sebuah laman web adalah untuk membatasi perayapan yang dilakukan oleh robot crawl, itulah penyebab kenapa pengembang situs dianjurkan supaya berhati-hati pada menggunakan robots.txt spesifik.
Robots.txt Default Google bisa ditinjau melaui search console atau biasa dianggap dengan webmaster tool, buatlah situs web baru tanpa robots.txt khusus kemudian masukkan ke situs search console, kemudian verifikasi kepemilikan situs, kemudian buka tab Crawl pada search console serta lihat pada bagian Robots.txt Tester.
Disana engkau dapat melihat pengaturan Robots.txt Default google dan engkau dapat menguji pengaturan Robots.txt tadi menggunakan 7 bot google yaitu: Googlebot, Googlebot-News, Googlebot-Image, Googlebot-Video, Googlebot-Mobile, Mediapartners-Google, Adsbot-Google.
Lihat contoh gambar dibawah ini;
Kode Robots.txt Dasar (Default)
Pada sebuah laman situs web terdapat halaman yang privasi atau bersifat misteri atau page yg antagonis menggunakan kebijakan google, Nah, pada perkara seperti ini pengelola situs dapat menggunakan robots.txt khusus buat membatasi perayapan dan peng-index-an robot crawl pada laman tersebut.
Contoh:
Jika nir terdapat page yang bersifat rahasia (privasi) maka kita nir perlu melakukan pembatasan akses terhadap robot crawl (perayap google), Dianjurkan "cukup" pakai pengaturan default robots.txt, sesudah sahih-benar paham silahkan berkreasi menggunakan Robots.txt Khusus.
Upload File Robots.txt Khusus ke Webmaster (Search Console)
Baca Juga: Setting Robots.txt Untuk Adsense
Demikian penerangan tentang "robots.txt khusus" menurut saya semoga berguna serta menambah ilmu pengetahuan. Artikel ini saya dedikasikan kepada para blogger khususnya visitor yg menanyakan "kenapa kode robots.txt disini pendek sedangkan di situs tetangga sebelah panjang". Apabila dipahami dengan benar maka artikel ini sudah relatif untuk menjawab-nya. Mohon maaf aku tidak mempublikasikan komentar dia karena tidak subscribe dulu baru komentar, sekian.
Perintah yang paling fundamental pada robots.txt default perayap google adalah merayapi seluruh bagian laman situs terkecuali halaman pencarian (search). Itu sebabnya konten unik menurut blogger pemula permanen bisa terindex dan timbul dihasil pencarian google meskipun tanpa melakukan Submit url maupun Fetch as Google. Dan peran robots.txt khusus pada sebuah laman web adalah untuk membatasi perayapan yang dilakukan oleh robot crawl, itulah penyebab kenapa pengembang situs dianjurkan supaya berhati-hati pada menggunakan robots.txt spesifik.
Robots.txt Default Google bisa ditinjau melaui search console atau biasa dianggap dengan webmaster tool, buatlah situs web baru tanpa robots.txt khusus kemudian masukkan ke situs search console, kemudian verifikasi kepemilikan situs, kemudian buka tab Crawl pada search console serta lihat pada bagian Robots.txt Tester.
Disana engkau dapat melihat pengaturan Robots.txt Default google dan engkau dapat menguji pengaturan Robots.txt tadi menggunakan 7 bot google yaitu: Googlebot, Googlebot-News, Googlebot-Image, Googlebot-Video, Googlebot-Mobile, Mediapartners-Google, Adsbot-Google.
Lihat contoh gambar dibawah ini;
Kode Robots.txt Dasar (Default)
User-agent: Mediapartners-GoogleSekarang bagaimana contoh robots.txt khusus? Setelah mengetahui pengaturan default robots.txt maka sangat gampang buat tahu robots.txt spesifik, "Khusus" yang dimaksud pada pengaturan robots.txt merupakan pengaturan optional berdasarkan pihak pengelola situs buat mengatur akses robot crawl, contohnya;
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: //yoursitename.blogspot.com/sitemap.xml
Pada sebuah laman situs web terdapat halaman yang privasi atau bersifat misteri atau page yg antagonis menggunakan kebijakan google, Nah, pada perkara seperti ini pengelola situs dapat menggunakan robots.txt khusus buat membatasi perayapan dan peng-index-an robot crawl pada laman tersebut.
Contoh:
User-agent: Mediapartners-GooglePerhatikan dua baris kode "Disallow" yg ditandai dengan alfabet tebal diatas merupakan model robots.txt khusus, kedua url tadi nir akan dirayapi oleh robot.crawl serta nir ditampilkan dalam halaman output pencarian. Jadi sangat mampu dipahami kan bahwa robots.txt khusus adalah pengaturan optional/pengaturan kita sendiri buat membatasi akses robot crawl pada merayapi situs kita.
Disallow:
User-agent: *
Disallow: /search
Disallow: /p/cepika-cepiki.html
Disallow: /document-privacy.html
Allow: /
Sitemap: //yoursitename.blogspot.com/sitemap.xml
Jika nir terdapat page yang bersifat rahasia (privasi) maka kita nir perlu melakukan pembatasan akses terhadap robot crawl (perayap google), Dianjurkan "cukup" pakai pengaturan default robots.txt, sesudah sahih-benar paham silahkan berkreasi menggunakan Robots.txt Khusus.
Upload File Robots.txt Khusus ke Webmaster (Search Console)
Bagaimana cara meng-update atau meng-upload robots.txt khusus menurut situs blogger ke webmaster tool (search console)?Memperbaharui robots.txt spesifik baik itu menambah atau mengurangi robots.txt dilakukan melalui dashboard "settingan" blogger, kemudian kemudian masuk ke search console serta buka fitur robots.txt tester, tekan tombol submit buat mengupdate / upload robots.txt. Biasanya akan ada pop-up yang berisi 3 pilihan, silahkan pilih submit buat pembaharuan robots.txt, setelah terselesaikan lakukan refresh dalam search console buat melihat hasilnya.
Baca Juga: Setting Robots.txt Untuk Adsense
Demikian penerangan tentang "robots.txt khusus" menurut saya semoga berguna serta menambah ilmu pengetahuan. Artikel ini saya dedikasikan kepada para blogger khususnya visitor yg menanyakan "kenapa kode robots.txt disini pendek sedangkan di situs tetangga sebelah panjang". Apabila dipahami dengan benar maka artikel ini sudah relatif untuk menjawab-nya. Mohon maaf aku tidak mempublikasikan komentar dia karena tidak subscribe dulu baru komentar, sekian.
Comments
Post a Comment