Bagaimana cara mengatur robots.txt

Discussion in 'Blogger' started by hirumangun, Apr 8, 2013.

  1. hirumangun

    hirumangun New Member

    Joined:
    Feb 7, 2013
    Messages:
    14
    Likes Received:
    0
    Trophy Points:
    1
    Bagaimana cara mengatur robots.txt yang baik buat SEO ya?
    Isinya apa saja ya dan maksudnya gimana?
    Selama ini di blogspot maupun wp self host robots.txt tidak pernah saya atur, takut ada yang error

    Saya menemukan penjelasannya disini tapi belum paham soalnya bahasa luar

    http://www.danpros.com/2012/03/setting-up-robotstxt-on-blogger.html

    help I can't speak English well
     
  2. Dan

    Dan Forum Bot

    Joined:
    Dec 4, 2012
    Messages:
    1,316
    Likes Received:
    257
    Trophy Points:
    83
    Google+:
    Untuk versi bahasa

    Untuk versi bahasa Indonesianya bisa kunjungi http://www.danlogs.com/2013/08/cara-setting-robotstxt-di-blogger.html *jail* sebenarnya postingan blog Javaner *ketawa3*
     
  3. IndoCezco

    IndoCezco New Member

    Joined:
    Mar 28, 2013
    Messages:
    26
    Likes Received:
    0
    Trophy Points:
    6
    Dan wrote:

    User-agent: Mediapartners-Google
    Disallow:

    User-agent: *
    Disallow: /search
    Allow: /

    Sitemap: http://indocezco.blogspot.com/feeds/posts/default?orderby=UPDATED
     
  4. hamidi

    hamidi Member

    Joined:
    Mar 20, 2013
    Messages:
    106
    Likes Received:
    7
    Trophy Points:
    18
    punya saya malah belum saya

    punya saya malah belum saya utak utik blas, gara-gara kemaren salah coba-coba seting, eh malah postingan saya ngak nongol-nongol di google *berkeringat*
     
  5. maxmanroe

    maxmanroe Member

    Joined:
    Feb 18, 2013
    Messages:
    353
    Likes Received:
    29
    Trophy Points:
    28
    Google+:
    Kumpulan para master... saya

    Kumpulan para master... saya malah ga ngerti! *kesepian*
     
  6. samuel

    samuel Member

    Joined:
    Feb 5, 2013
    Messages:
    478
    Likes Received:
    15
    Trophy Points:
    18
    Google+:
    emang mesti disetting ?

    emang mesti disetting ? defaultnya kan udh lumayan *jail*
     
  7. budiw92

    budiw92 Member

    Joined:
    Feb 11, 2013
    Messages:
    725
    Likes Received:
    35
    Trophy Points:
    28
    Google+:
    gak pernah nyentuh robot.txt

    gak pernah nyentuh robot.txt takut slah dan blog langsung ilang dari SERP *kesepian*
     
  8. Ardilas

    Ardilas Super Level

    Joined:
    Feb 18, 2013
    Messages:
    4,243
    Likes Received:
    317
    Trophy Points:
    83
    Google+:
    Kalau di blogspot yang tidak

    Kalau di blogspot yang tidak perlu di index itu halaman label terkait dengan Algoritma Google Panda. Tetapi dalam hal ini tidak mengutak-atik robot.txt, melainkan kode html nya. Sumber.
     
  9. ncang

    ncang Super Level

    Joined:
    Feb 7, 2013
    Messages:
    4,655
    Likes Received:
    761
    Trophy Points:
    113
    Google+:
    masih belum berani ngatur

    masih belum berani ngatur robot txt, paling cuma nyentuh Custom robots header tags *ketawa3*
     
  10. nawi667

    nawi667 Member

    Joined:
    Jul 5, 2013
    Messages:
    113
    Likes Received:
    6
    Trophy Points:
    18
    Google+:
    Caraku seperti ini ....

    Caraku seperti ini ....

    Logikanya begini :

    User-agent: Mediapartners-Google
    Disallow:

    Memberikan kesempatan kepada Mediapartners-Google untuk mengindeks semua halaman yang ada pada sebuah web/blog

    User-agent: *
    Disallow: /search

    Memberikan batasan kepada semua robot yang lain untuk tidak mengindeks label atau kategori artikel blog.

    Allow : /
    Tidak aku pasang, karena memang sudah menjadi tugas robot search engine untuk melakukan crawling, jadi tidak perlu diperintah pasti otomatis melakukan crawling.

    Sitemap:
    Code:
    http://Nama blog.blogspot.com/feeds/posts/default?orderby=UPDATED
    
    &max-results=999
    Dipasangkan untuk mengatasi kekurangan platform blogger yang hanya mampu menyimpan 26 artikel baru.

    Agar lebih maksimal, biasanya setting robot.txt ini dibarengi dengan setting Robot Header Tag.

    Bila ada yang salah, mohon dimaafkan.
     
  11. alfadly

    alfadly Member

    Joined:
    Dec 13, 2013
    Messages:
    53
    Likes Received:
    1
    Trophy Points:
    8
    kalau untuk setting robot.txt

    kalau untuk setting robot.txt di WP gimana ya, maaf kalau OOT *huh*
     
Loading...

Share This Page