Selamat Malam semua, Saya mau tanya sedikit, mudah-mudahan dapat jawaban yang banyak bagaimana ya cara setting robots.txt supaya robots.txt tersembunyi dari pengunjung tetapi bot dari search engine masih bisa membacanya maksud saya: robots.txt hanya untuk bot search engine aja Terima Kasih untuk bantuannya ziuma, Oct 24, 2017 #1 Rimala Nursery Super Level Joined: May 29, 2014 Messages: 2,089 Likes Received: 254 Trophy Points: 83 Saya malah gak pernah seting karena gak tau caranya kalau salah seting bisa berpengaruh katanya ,begitupun kalo benar.. haha Rimala Nursery, Oct 24, 2017 #2 rosyad Active Member Joined: Dec 30, 2016 Messages: 1,106 Likes Received: 84 Trophy Points: 48 Ini buat setting robot.txt khusus blogger bang: https://www.danlogs.com/2013/08/cara-setting-robotstxt-di-blogger rosyad, Oct 24, 2017 #3 ys. herbi Well-Known Member Joined: Mar 6, 2016 Messages: 1,251 Likes Received: 190 Trophy Points: 63 Google+: Author Setting robot.txt.. saya pernah sih, tp ndak tau bagusnya gimana... Soalnya dulu pernah salah nyebut, ndak diindeks SE tertentu (lupa namanya)... Kok bisa tau mas? Lha abis nglepas robot.txt itu, ada SE "asing" yang banyak ngerujuk ke blog saya.. ys. herbi, Oct 24, 2017 #4 KangAndre Member Joined: Jan 25, 2014 Messages: 10,244 Likes Received: 2,714 Trophy Points: 413 jangan buat atau hapus robot.txt, robot akan tetap meng-crawl Robot.txt diperlukan sebagai aturan bagi robot biar gak main selonong saja, namun ada juga robot yang "nakal" meskipun ada robot.txt tetap main serobot. KangAndre, Oct 25, 2017 #5 ziuma Well-Known Member Joined: May 23, 2014 Messages: 1,563 Likes Received: 240 Trophy Points: 63 ngak bisa di hide ya @KangAndre ? artinya robots.txt nya ada tetapi pengunjung tidak bisa lihat saya pasang kode seperti ini di .hattacces Code: <Files robots.txt> order allow,deny deny from all </Files> ternyata di google webmaster dianggap tidak ada robots.txt ziuma, Oct 25, 2017 #6 KangAndre Member Joined: Jan 25, 2014 Messages: 10,244 Likes Received: 2,714 Trophy Points: 413 Tidak disarankan membuat batasan robots di .htaccess. Alasannya: .htaccess digunakan untuk akses internal , sedangkan robots.txt untuk akses eksternal . "Internal" karena .htaccess bertugas untuk memberitahu server (Apache) bagaimana menangani nama halaman dan file, URL dan cara pengguna untuk mengakses sumber daya ini( untuk menangani fitur-fitur situs sendiri). Salah pengisian situs bisa error. Sedangkan Robots.txt, sebaliknya mengatur akses "eksternal", karena ini memberi tahu mesin pencari dan alat web lainnya yang harus dibaca dan yang boleh diindeks. Jika salah, hanya berakibat tidak terindeks saja, tapi situs tetap berjalan. Sudah ada ketentuan bahwa robots.tst dapat dibaca manusia (pengguna) dan robot. ziuma.com/robots.txt terbaca, coba hapus yang di .htaccess dan uji kembali via webmaster tools. KangAndre, Oct 25, 2017 #7 ziuma likes this. davidrahman Member Joined: Jun 4, 2014 Messages: 899 Likes Received: 32 Trophy Points: 28 sepertinya ada hal yang penting nih di robots.txt punya ts davidrahman, Oct 25, 2017 #8 KangAndre Member Joined: Jan 25, 2014 Messages: 10,244 Likes Received: 2,714 Trophy Points: 413 Semua situs bisa dilihat robots.txt-nya namadomain.com/robots.txt dan nggak ada rahasia penting KangAndre, Oct 25, 2017 #9 ncang Super Level Joined: Feb 7, 2013 Messages: 4,655 Likes Received: 761 Trophy Points: 113 Google+: Author ada yang keren juga isinya, Code: https://www.nike.com/robots.txt https://www.google.com/killer-robots.txt ini barusan screenshot, gak pake ncang, Oct 25, 2017 #10 ziuma likes this. ziuma Well-Known Member Joined: May 23, 2014 Messages: 1,563 Likes Received: 240 Trophy Points: 63 ada logo nike dibawahnya keren keren ziuma, Oct 25, 2017 #11 KangAndre Member Joined: Jan 25, 2014 Messages: 10,244 Likes Received: 2,714 Trophy Points: 413 Tapi jarang orang lihat robots.txt (paling iseng saja) KangAndre, Oct 25, 2017 #12 Sugeng Ginanjar Member Joined: Nov 18, 2016 Messages: 213 Likes Received: 10 Trophy Points: 18 di biarkan saja di setelan default.,. yh., Sugeng Ginanjar, Oct 25, 2017 #13 Andre Member Joined: Apr 12, 2013 Messages: 483 Likes Received: 22 Trophy Points: 18 ijin nyimak, ane juga kurang mngerti tentang robott Andre, Oct 26, 2017 #14 miftah666 Member Joined: Sep 6, 2016 Messages: 22 Likes Received: 0 Trophy Points: 8 Mendingan jangan di hapus Gan.....menurut saya miftah666, Oct 26, 2017 #15 Fathoni Member Joined: Mar 9, 2016 Messages: 168 Likes Received: 12 Trophy Points: 18 ikutan nyimak gan biar semakin pintar dan bertambah ilmu lagi Fathoni, Nov 6, 2017 #16 Nina Ayunine Member Joined: Nov 2, 2017 Messages: 27 Likes Received: 4 Trophy Points: 8 tanya bawah ane mungkin paham Nina Ayunine, Nov 7, 2017 #17 Fathoni Member Joined: Mar 9, 2016 Messages: 168 Likes Received: 12 Trophy Points: 18 bawah yang mana mba @Nina Ayunine Fathoni, Nov 7, 2017 #18 Nastriawan Member Joined: Sep 7, 2016 Messages: 60 Likes Received: 6 Trophy Points: 8 ijin nyimak gan, sy juga msh belum ngerti Nastriawan, Dec 21, 2017 #19 (You must log in or sign up to reply here.) Show Ignored Content Loading... Similar Threads - [ask] Cara setting [ask] cara setting canonical link? ziuma, Dec 20, 2017, in forum: General Internet Replies: 10 Views: 1,984 HadoSW Dec 29, 2017 [ask] cara setting AMP ? ziuma, Oct 15, 2016, in forum: General Internet Replies: 6 Views: 1,400 mohammad aziz Oct 15, 2016 [ask] bagaimana cara setting 404 to 301 ziuma, May 2, 2016, in forum: General Internet Replies: 16 Views: 2,626 Ganyool May 24, 2016 [ask] Cara Mengatasi SafeSearch? ziuma, Feb 7, 2022, in forum: General Internet Replies: 3 Views: 1,590 ziuma Feb 9, 2022 [Ask] Cara Mudah Meningkatkan Visitor Website blogberbagitips, Dec 17, 2020, in forum: General Internet Replies: 18 Views: 5,486 KangAndre Feb 27, 2021 Share This Page Tweet Log in with Facebook Log in with Twitter Your name or email address: Do you already have an account? No, create an account now. Yes, my password is: Forgot your password? Stay logged in
Saya malah gak pernah seting karena gak tau caranya kalau salah seting bisa berpengaruh katanya ,begitupun kalo benar.. haha
Ini buat setting robot.txt khusus blogger bang: https://www.danlogs.com/2013/08/cara-setting-robotstxt-di-blogger
Setting robot.txt.. saya pernah sih, tp ndak tau bagusnya gimana... Soalnya dulu pernah salah nyebut, ndak diindeks SE tertentu (lupa namanya)... Kok bisa tau mas? Lha abis nglepas robot.txt itu, ada SE "asing" yang banyak ngerujuk ke blog saya..
jangan buat atau hapus robot.txt, robot akan tetap meng-crawl Robot.txt diperlukan sebagai aturan bagi robot biar gak main selonong saja, namun ada juga robot yang "nakal" meskipun ada robot.txt tetap main serobot.
ngak bisa di hide ya @KangAndre ? artinya robots.txt nya ada tetapi pengunjung tidak bisa lihat saya pasang kode seperti ini di .hattacces Code: <Files robots.txt> order allow,deny deny from all </Files> ternyata di google webmaster dianggap tidak ada robots.txt
Tidak disarankan membuat batasan robots di .htaccess. Alasannya: .htaccess digunakan untuk akses internal , sedangkan robots.txt untuk akses eksternal . "Internal" karena .htaccess bertugas untuk memberitahu server (Apache) bagaimana menangani nama halaman dan file, URL dan cara pengguna untuk mengakses sumber daya ini( untuk menangani fitur-fitur situs sendiri). Salah pengisian situs bisa error. Sedangkan Robots.txt, sebaliknya mengatur akses "eksternal", karena ini memberi tahu mesin pencari dan alat web lainnya yang harus dibaca dan yang boleh diindeks. Jika salah, hanya berakibat tidak terindeks saja, tapi situs tetap berjalan. Sudah ada ketentuan bahwa robots.tst dapat dibaca manusia (pengguna) dan robot. ziuma.com/robots.txt terbaca, coba hapus yang di .htaccess dan uji kembali via webmaster tools.
ada yang keren juga isinya, Code: https://www.nike.com/robots.txt https://www.google.com/killer-robots.txt ini barusan screenshot, gak pake