(Tanya) Masalah Cakupan : Diindeks, meski diblokir oleh robots.txt

Discussion in 'Blogger' started by Yuyutsu, Nov 18, 2020.

  1. Yuyutsu

    Yuyutsu Member

    Joined:
    Mar 22, 2015
    Messages:
    312
    Likes Received:
    34
    Trophy Points:
    28
    Assalamu 'alaikum,

    Mohon pencerahan. Hari ini saya dapet email dari Google Search Console yang ngasih tau kalo ada masalah cakupan dengan keterangan diindeks meski diblokir oleh robots.txt.

    Tindaklanjut dari saya, ngecek robots.txt dan kedapetan kalo isinya seperti ini:

    HTML:
    User-agent: Mediapartners-Google
    Disallow:
    
    User-agent: *
    Disallow: /search
    Allow: /
    
    Sitemap: http://www.dipopedia.com/sitemap.xml
    Selanjutnya saya cek setelan blog terutama dibagian Crawler dan pengindeksan yang ternyata ga saya rubah masih seperti adanya.

    Langkah ketiga, saya cek langsung ke Google Search Console dan kedapetan url yang bermasalah adalah url hasil penelusuran.

    Code:
    http://www.dipopedia.com/search?updated-max=2020-07-16T13:27:00%2B07:00&max-results=10
    Pertanyaannya, apa saya harus rubah robots.txt sementara saya ga mau hasil penelusuran diindex? Kedua, kalo saya ga ngambil tindakan apa pun, risikonya apa ya?

    Gitu aja, terima kasih.

    Wassalam.
     
  2. ncang

    ncang Super Level

    Joined:
    Feb 7, 2013
    Messages:
    4,655
    Likes Received:
    761
    Trophy Points:
    113
    Google+:
    dibiarkan gak masalah karena sebetulnya sudah Disallow, tapi kenapa masih ke index ? Bisa keindex kalau ada halaman yang ngasih link dofollow ke url tersebut misalnya breadcrumb, widget label, prev next navigation dll.
     
  3. Yuyutsu

    Yuyutsu Member

    Joined:
    Mar 22, 2015
    Messages:
    312
    Likes Received:
    34
    Trophy Points:
    28
    Makasih responnya.

    Kalo breadcrumb, widget label, prev next navigation saya ga pake. Tapi kalo form pencarian ada karna ada yg bilang biar user friendly. Widget lainnya juga ga ngarah ke url hasil penelusuran.

    Sampe saat ini saya juga belom ambil tindakan.
     
  4. ncang

    ncang Super Level

    Joined:
    Feb 7, 2013
    Messages:
    4,655
    Likes Received:
    761
    Trophy Points:
    113
    Google+:
    coba view source, ini samplenya
    Code:
    <a class='blog-pager-older-link' href='http://www.dipopedia.com/search?updated-max=2020-07-16T13:27:00%2B07:00&max-results=10' id='Blog1_blog-pager-older-link' title='Postingan Lama'>Postingan Lama</a>
    
    setiap halaman pasti generate url yg berbeda.
     
  5. Yuyutsu

    Yuyutsu Member

    Joined:
    Mar 22, 2015
    Messages:
    312
    Likes Received:
    34
    Trophy Points:
    28
    Padahal ini udah di-hide pake kode css #blog-pager {display:none;} ternyata masih bisa nonggol juga biarpun dibrowser engga keliatan.
     
  6. KangAndre

    KangAndre Member

    Joined:
    Jan 25, 2014
    Messages:
    10,244
    Likes Received:
    2,714
    Trophy Points:
    413
    Diabaikan saja nggak ada masalah. Nanti hilang sendiri notifikasinya.
    Ini berlaku hanya untuk pengguna via browser, tapi robot masih bisa membaca.
     
  7. Yuyutsu

    Yuyutsu Member

    Joined:
    Mar 22, 2015
    Messages:
    312
    Likes Received:
    34
    Trophy Points:
    28
    Iya, @KangAndre , ntar saya liat progressnya.

    Ini yang ga saya antisipasi, tapi apa bisa ya?
     
  8. Arif Rachman Hakim

    Arif Rachman Hakim Member

    Joined:
    May 4, 2014
    Messages:
    391
    Likes Received:
    29
    Trophy Points:
    28
    Google+:
    saya pakai ini sejauh ini aman tidak ada masalah
    HTML:
    User-agent: *
    Disallow:
    
    Sitemap: https://www.multimedialy.com/sitemap.xml
    Sitemap: https://www.multimedialy.com/feeds/posts/default
    Sitemap: https://www.multimedialy.com/atom.xml?redirect=false&start-index=1&max-results=500
    Sitemap: https://www.multimedialy.com/sitemap-pages.xml
    dan jangan lupa (kalau belum ada) tambahan tag ini di <head>...</head>
    HTML:
    <b:if cond='data:view.isArchive'>
    <meta content='noindex,noarchive' name='robots'/>
    </b:if>
    <b:if cond='data:blog.searchQuery'>
    <meta content='noindex,noarchive' name='robots'/>
    </b:if>
    <b:if cond='data:blog.searchLabel'>
    <meta content='noindex,noarchive' name='robots'/>
    </b:if>
     
    Yuyutsu likes this.
  9. Yuyutsu

    Yuyutsu Member

    Joined:
    Mar 22, 2015
    Messages:
    312
    Likes Received:
    34
    Trophy Points:
    28
    Makasih, Den. Tag itu memang belom ada dan sekarang udah saya pasang :).
     
Loading...

Share This Page