Cara Mengatur Robot.txt Di Blog

Robot.txt adalah sebuah file text (.txt) di dalam sebuah halaman web yang berisi perintah-perintah halaman mana yang boleh di index dan mana yang tidak boleh diindex oleh spider mesin pencari. Robot.txt juga bisa dipakai untuk memaksimalkan lagi SEO pada Blog.
Robots.txt bersisi perintah agar spider mesin pencari tidak mengindex halaman versi seluler yang dalam keadaan default halaman versi