Cara Mengatur Robots.txt Blogger dengan Benar dan SEO

Awal dari konten blog anda terindex adalah berawal dari perayapan search engine seperti google bot yang merayap ke situs blog dan website anda. Untuk membaca hampir semua isi konten. Dan itulah awal kenapa konten anda bisa ditemukan dari search engine seperti google. Tetapi googlebot atau perayap lainya tidak masuk sembarangan ke situs orang. Mereka juga bisa diatur menggunakan robot txt dan tag header robot khusus. Hal itulah yang bisa kita manfaatkan untuk Search Engine Optimization pada blog atau website kita. Dan kali ini echotuts akan membahas mengenai “Cara Setting Robot.txt Blogger dengan SEO”

Apa itu Robot.txt ?
Robot txt merupakan suatu aturan perintah untuk para search engine, mengendalikan cara mereka merayap ke dalam blog atau website anda. Karena perayapan ada juga yang baik atau juga yang jahat. Perayapan yang baik salah satunya adalah googlebot. Mereka tidak sembarangan masuk. Mereka merayap berdasarkan perintah robot.txt yang anda gunakan. Mereka merayap dan membaca hampir semua konten yang anda buat dengan tujuan membantu anda bisa terdeteksi di search engine. Kalo Perayap yang jahat atau bisa dibilang sebagai (Jingling) mereka masuk tanpa tujuan hanya untuk menambah status traffic kita naik. Itu bukan hal yang baik untuk kita. Jika search engine mendengar bahwa anda mendapatkan traffic yang tidak normal seperti biasanya atau mereka (search engine) bisa menganggap blog anda melakukan kecurangan dan bisa berujung pada Sandbox.

Fungsi Robot txt ?
Berdasarkan yang dibicarakan diatas. Robot txt berguna utuk mencegah perayapan yang tidak diharapkan. Perayapan sendiri bertujuan untuk mengindex konten anda kedalam search engine mereka. Dan anda juga bisa mengatur jika ada konten yang tidak anda inginkan untuk terindex oleh search engine (Private).
Dan dibawah ini meruoakan beberapa jenis robot txt yang bisa anda pilih untuk blog anda. Tapi ingat gunakan robot txt ini dengan hati-hati. Karena jika anda menggunakan fitur yang tidak tepat dapat mengakibatkan situs website atau blog anda diabaikan oleh mesin pencari. Dan otomatis juga tidak akan ditemukan di dalam search engine.

Bagaimana Cara Melihat Robot txt ?
Pengaturan robot txt bisa anda lihat melalui pengaturan blogger anda dan juga bisa anda lihat melalui situs url. Bukan Cuma situs anda melainkan situs yang ingin anda intip, caranya cukup mudah hanya menambahkan

/robots.txt

Pada belakang domain anda. Dan menjadi seperti ini :

www.echotuts.web.id/robots.txt

Cara Mengatur Robot txt Blogger Dengan benar dan SEO
Semua blog yang dibuat otomatis sudah mempunyai robot txt mereka sendiri, seperti blog pada blogger google menganjurkan untuk menggunakan basis robot txt yang sudah diberikan dari awal, dan basis robot txt tersebut berbunyi seperti.

Robot txt default/ basis dari blogger

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://namaBlogAnda.blogspot.com/sitemap.xml

Dan berikut penjelasanya :
User-agent: mediapartners-Google (user agent milik google menamdakan bahwa blog ini adalah partner dari google)
Disallow: (yang artinya tidak diperbolehkan untuk)
User-Agent: * (Semua robot search engine)
Disallow: /search (Tidak diperbolehkan merayapi forder. Searcg dan seterusnya. Contohnya …/search/label dan lain-lain)
Allow: / (Mengizinkan semua halaman untuk dirayapi kecuali yang tertulis pada disallow)
Sitemap: http://namabloganda.blogspot.com/sitemap.xml (merupakan peta situs anda)

Dan dibawah ini adalah beberapa style robots.txt jika anda ingin mengaturnya agar mendapatkan SEO tinggi. Tapi echotuts recomendasikan memakai basis Robots.txt

Robot txt Memperbolehkan Perayap menindex semua halaman.

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow:
Allow: /
Sitemap: http://namaBlogAnda.blogspot.com/feeds/posts/default?orderby=updated

Seperti yang dijelaskan diatas dan perbedaan dari robot txt basis adalah pada disallow dan sitemap yang artinya adalah anda mengijinkan semua untuk dirayap oleh para search engine. Memperbolehkan search engine mengindex semua halaman blog anda.

Robot txt untuk Mencegah Halaman Tertentu untuk tidak Terindex

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /p/halamanPrivateAnda.html
Allow: /
Sitemap: http://urlanda.blogspot.com/feeds/posts/default?orderby=updated

Cukup menambah url yang anda maksud pada Disallow, seperti /p/private.html atau apapun itu dan otomatis pula googlebot dan lain akan mematuhi perintah anda untuk tidak menindex halaman tersebut.

Robot txt untuk Mencegah Copy paste

User-agent: Mediapartners-Google
Disallow:
User-agent: Googlebot
Disallow: /search
Disallow: /?m=1
Disallow: /?m=0
Disallow: /*?m=1
Disallow: /*?m=0
User-agent: *
Disallow: /search
Sitemap: http://urlanda.blogspot.com/feeds/posts/default?orderby=UPDATED

Memang kadang-kadang memasang fitur anti copy paste saja itu tidak cukup. Karena orang yang melewati mobile phone masih bisa mengcopy konten anda. Tetapi juga bisa membuat kita menurunkan traffic yang berdatangan dari mobile phone.

Cara Setting Tag Header Robot Khusus

cara setting custom robots header tag dengan seo - echotuts

1. Masuk ke blog anda
2. Setting > Search Preferences > Custom robots header tags > Edit > Ya
3. Setelah muncul beberapa menu silahkan atur sesuai gambar di atas.
4. Dan klik Save Changes

pengaturan diatas merupakan untuk memberitahu mesin pencari untuk mengindex semua is tetapi tetap tidak memperbolehkan user agent directory project untuk mengcrawl semua isi blog dan juga tidak boleh untuk menindex arsip blog anda.

Selamat mencoba. Cukup sekian artikel dari echotuts, semoga artikel ini bisa menambah wawasan kita. Mohon maaf atas Kekuranganya dan Terima Kasih telah berkunjung

Lastest update : 06/08/2015

Baca juga yang ini :