Cara Memperbaiki " Diindeks meski di blokir oleh robots.txt " Terbaru

Cara Memperbaiki " Diindeks meski di blokir oleh robots.txt " Terbaru

Hallo semuanya, ketemu lagi sama saya di mas subhan blog yo, kali ini saya ingin memberikan jalan terang untuk teman-teman blogger khususnya yang mungkin mengalami hal yang sama dengan saya beberapa waktu terakhir. Pada tanggal 22 agustus lalu, saya menerima email yang berisikan pemberitahuan bahwa terdeteksi masalah baru di blog saya melalui notifikasi yang dikirimkan dari Google Search Console yang kira-kira beginilah isi email tersebut :

Cara Memperbaiki " Diindeks meski di blokir oleh robots.txt " Terbaru


Banyak dari kita yang mungkin selalu bertanya-tanya kenapa masalah ini bisa terjadi, begitupun saya sendiri. Pada awalnya saya juga kebingungan untuk menemukan solusi bagaimana cara mengatasi masalah cakupan ini, sudah lebih dari 3 kali saya coba untuk memvalidasi perbaikan namun hasilnya selalu gagal. 

Untuk itulah saya menshare postingan ini supaya dapat membantu teman-teman dan saya juga akan jelaskan apa penyebab munculnya  notifikasi " diindeks meski di blokir oleh robots.txt " pada Google Search Console. 

Penyebab dari munculnya peringatan " diindeks meski di blokir oleh robots.txt "  adalah karena mesin pencari Google sudah mengabaikan perintah noindex menggunakan file robots.txt. Sedangkan sampai saat ini masih menggunakan file robots.txt untuk mencegah halaman terntentu supaya tidak terindex di mesin pencari.

Halaman yang dimaksud adalah halaman pencarian dan halaman label :

Cara Memperbaiki " Diindeks meski di blokir oleh robots.txt " Terbaru

Coba perhatikan gambar diatas, pada gambar tersebut terdapat perintah " Disallow: /seacrh "   Nah, perintah itulah yang memberitahu mesin pencari agar tidak mengindeks URL yang diawali dengan /search setelah alamat blog. URL yang di awali dengan /search ini memang sering kita gunakan ya misalnya saja yang terdapat dalam blog kita sendiri sebagai contoh adalah : 
  • https://www.massubhan.com/search/label/Trending ( contoh URL halaman label ) dan 
  • https://www.massubhan.com/search?q=blog&max-results=7 ( contoh URL halaman pencarian )
Oke, sekarang kita masuk ke cara mengatasinya, 

Kita akan menggunakan tag header robot untuk memberi tahu Google agar tidak mengindeks halaman label dan pencarian. Untuk memasang tag meta robot silahkan ikuti langkah-langkah dibawah ini :
  • Yang pertama silahkan masuk ke draft blogger kalian lalu masuk ke Tema kemudian Edit HTML
  • Silahkan cari kode <head> dan salin kode dibawah ini lalu tempelkan kode tersebut tepat dibawah kode <head>. 
  • Dan berikut adalah kodenya:

 " <!-- Meta Robot -->
    <b:if cond="data:view.isSearch or data:view.isArchive">
          <meta content='noindex, noarchive' name='robots'/>
        </b:if> "

        • Jika sudah jangan lupa untuk disimpan ya,
        • Berikutnya kita keluar dari Edit HTML dan masuk ke Setelan Untuk menghapus perintah " Disallow: /search "  pada file robots.txt. Kenapa harus dihapus ? Ya karena kalau tidak di hapus robot Google tidak akan bisa membaca perintah tag meta robot yang sudah kita pasang tadi.
        • Oke selanjutnya silahkan masuk ke Setelan, lalu scroll kebawah dan pilih Crawler dan Pengindeksan lalu aktifkan fitur robots.txt kustom
        • Klik pada tulisan robots.txt kustom dan setelah itu masukkan kode dibawah ini kedalam kolom yang telah tersedia 
        User-agent: Mediapartners-Google
        Disallow: 

        User-agent: *
        Allow: /

        Sitemap: https://linkwebsitekamu/sitemap.xml

        • Jika sudah jangan lupa ganti tulisan linkwebsitekamu  dengan link website kalian ya 
        • Setelah itu klik simpan.

        Langkah terakhir, silahkan masuk ke dashboard Google Search Console dan klik tulisan " Validasi Perbaikan ". Tunggu 1-2 hari untuk mendapatkan notifikasi perbaikan tersebut. 


        JIKA CARA DIATAS TIDAK BERHASIL MAKA SILAHKAN PAKAI CARA YANG KEDUA:


        • Silahkan masuk ke Setelan, lalu scroll kebawah dan pilih Crawler dan Pengindeksan lalu aktifkan fitur robots.txt kustom dan klik robots.txt kustom 
        • Copy kode di bawah ini dan tempelkan ke kolom robots.txt kustom 
        User-agent: Mediapartners-Google
        Disallow: 

        User-agent: *  
        Allow: / 
        Disallow:

        Sitemap: https://www.massubhan.com/sitemap.xml

        • Jika sudah jangan lupa ganti tulisan www.massubhan.com  dengan link website kalian dan 
        • Setelah itu klik simpan.

        Langkah terakhir, silahkan masuk ke dashboard Google Search Console dan klik tulisan " Validasi Perbaikan ". Tunggu 1-2 hari untuk mendapatkan notifikasi perbaikan tersebut. 


        Untuk tutorial lengkapnya kalian juga bisa mengunjungi youtube saya : 



        Berlangganan update artikel terbaru via email:

        0 Response to "Cara Memperbaiki " Diindeks meski di blokir oleh robots.txt " Terbaru"

        Post a Comment

        Berkomentarlah dengan bijak dan sopan.

        Iklan Atas Artikel

        Iklan Tengah Artikel 1

        Iklan Tengah Artikel 2

        Iklan Bawah Artikel

        Yuk Donasi ke Blog ini, Bantu berikan donasi jika dirasa blog ini bermanfaat. Donasi akan kita gunakan untuk membiayai seluruh kebutuhan blog ini. Terima kasih telah mempercayakan  Mas Subhan Blog :)
        banner