(ASK) Permasalahan Robot.txt

Permisi semuanya, momod, mimin, dan member lainnya
Begini saya mau tanya pengaruh robot.txt kalau tidak ada dalam GSC itu apakah berpengaruh pada crawling dan sisi SEO website?
Lalu cara menambahkannya menggunakan syntaks apa saja ya kalau tidak menggunakan wordpress?

Semoga ada yang bisa membantu

 

Robot.txt di GSC hanya sebagai "tester" saja, bagaimana google bot bekerja. Kalau tidak diedit akan menggunakan standart yang ada.
Robot.txt merupakan "rambu-rambu" mesin pencari dalam meng-crawl sebuah web yang dibuat di web hosting. Bot yang baik akan mentaati robot.txt yang ada, mana saja yang boleh dirayapi dan yang tidak boleh.
Kalau di blogger.com ada pada setelan > preferensi penelusuran

 

Hooo begitu ya mas, terima kasih atas pencerahannya
Berarti walaupun website yg ga ada "robot.txt" itu enggak jadi masalah kan ya? (dalam segi SEO)

 

Nggak masalah, cuma hal-hal yang sensitif dan tidak perlu kemungkinan bisa ada di SERP. Misal: wp-admin nggak perlu di crawl...
Kalau nggak paham betul, sebaiknya jangan otak-atik robot.txt (biarkan apa adanya) yang berisiko malah nggak keindeks.

 

Oke terima kasih atas penjelasannya

 

owh begitu ya robot itu bahaya juga ternyata...

 

Kalo gak butuh modifikasi ataupun gak ngerti sebaiknya jangan ditoel mas robot.txt nanti salah2 bisa deindex