Cara Mengatur Robots.txt Blogger dengan Benar dan SEO

Awal dari konten blog anda terindex adalah berawal dari perayapan search engine seperti google bot yang merayap ke situs blog dan website anda. Untuk membaca hampir semua isi konten. Dan itulah awal kenapa konten anda bisa ditemukan dari search engine seperti google. Tetapi googlebot atau perayap lainya tidak masuk sembarangan ke situs orang. Mereka juga bisa diatur menggunakan robot txt dan tag header robot khusus. Hal itulah yang bisa kita manfaatkan untuk Search Engine Optimization pada blog atau website kita. Dan kali ini echotuts akan membahas mengenai “Cara Setting Robot.txt Blogger dengan SEO”

Cara Mengatur Robots.txt Blogger dengan Benar dan SEO - echotuts

Apa itu Robot.txt ?
Robot txt merupakan suatu aturan perintah untuk para search engine, mengendalikan cara mereka merayap ke dalam blog atau website anda. Karena perayapan ada juga yang baik atau juga yang jahat. Perayapan yang baik salah satunya adalah googlebot. Mereka tidak sembarangan masuk. Mereka merayap berdasarkan perintah robot.txt yang anda gunakan. Mereka merayap dan membaca hampir semua konten yang anda buat dengan tujuan membantu anda bisa terdeteksi di search engine. Kalo Perayap yang jahat atau bisa dibilang sebagai (Jingling)  mereka masuk tanpa tujuan hanya untuk menambah status traffic kita naik. Itu bukan hal yang baik untuk kita. Jika search engine mendengar bahwa anda mendapatkan traffic yang tidak normal seperti biasanya atau mereka (search engine) bisa menganggap blog anda melakukan kecurangan dan bisa berujung pada Sandbox.

Fungsi Robot txt ?
Berdasarkan yang dibicarakan diatas.  Robot txt berguna utuk mencegah perayapan yang tidak diharapkan. Perayapan sendiri bertujuan untuk mengindex konten anda kedalam search engine mereka. Dan anda juga bisa mengatur jika ada konten yang tidak anda inginkan untuk terindex oleh search engine (Private).
Dan dibawah ini meruoakan beberapa jenis robot txt yang bisa anda pilih untuk blog anda. Tapi ingat gunakan robot txt ini dengan hati-hati. Karena jika anda menggunakan fitur yang tidak tepat dapat mengakibatkan situs website atau blog anda diabaikan oleh mesin pencari. Dan otomatis juga tidak akan ditemukan di dalam search engine.

Bagaimana Cara Melihat Robot txt ?
Pengaturan robot txt bisa anda lihat melalui pengaturan blogger anda dan juga bisa anda lihat melalui situs url. Bukan Cuma situs anda melainkan situs yang ingin anda intip, caranya cukup mudah hanya menambahkan
/robots.txt
Pada belakang domain anda. Dan menjadi seperti ini :
www.echotuts.web.id/robots.txt

Cara Mengatur Robot txt Blogger Dengan benar dan SEO
Semua blog yang dibuat otomatis sudah mempunyai robot txt mereka sendiri,  seperti blog pada blogger google menganjurkan untuk menggunakan basis robot txt yang sudah diberikan dari awal, dan basis robot txt tersebut berbunyi seperti.

Robot txt default/ basis dari blogger
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://namaBlogAnda.blogspot.com/sitemap.xml
Dan berikut penjelasanya :
User-agent: mediapartners-Google (user agent milik google menamdakan bahwa blog ini adalah partner dari google)
Disallow: (yang artinya tidak diperbolehkan untuk)
User-Agent: * (Semua robot search engine)
Disallow: /search (Tidak diperbolehkan merayapi forder. Searcg dan seterusnya. Contohnya …/search/label dan lain-lain)
Allow: / (Mengizinkan semua halaman untuk dirayapi kecuali yang tertulis pada disallow)
Sitemap: http://namabloganda.blogspot.com/sitemap.xml (merupakan peta situs anda)

Dan dibawah ini adalah beberapa style robots.txt jika anda ingin mengaturnya agar mendapatkan SEO tinggi. Tapi echotuts recomendasikan memakai basis Robots.txt

Robot txt Memperbolehkan Perayap menindex semua halaman.
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow:
Allow: /
Sitemap: http://namaBlogAnda.blogspot.com/feeds/posts/default?orderby=updated
Seperti yang dijelaskan diatas dan perbedaan dari robot txt basis adalah pada disallow dan sitemap yang artinya adalah anda mengijinkan semua untuk dirayap oleh para search engine. Memperbolehkan search engine mengindex semua halaman blog anda.

Robot txt untuk Mencegah Halaman Tertentu untuk tidak Terindex
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /p/halamanPrivateAnda.html
Allow: /
Sitemap: http://urlanda.blogspot.com/feeds/posts/default?orderby=updated
Cukup menambah url yang anda maksud pada Disallow, seperti /p/private.html atau apapun itu dan otomatis pula googlebot dan lain akan mematuhi perintah anda untuk tidak menindex halaman tersebut.

Robot txt untuk Mencegah Copy paste
User-agent: Mediapartners-Google
Disallow:
User-agent: Googlebot
Disallow: /search
Disallow: /?m=1
Disallow: /?m=0
Disallow: /*?m=1
Disallow: /*?m=0
User-agent: *
Disallow: /search
Sitemap: http://urlanda.blogspot.com/feeds/posts/default?orderby=UPDATED
Memang kadang-kadang memasang fitur anti copy paste saja itu tidak cukup. Karena orang yang melewati mobile phone masih bisa mengcopy konten anda. Tetapi juga bisa membuat kita menurunkan traffic yang berdatangan dari mobile phone.

Cara Setting Tag Header Robot Khusus
cara setting custom robots header tag dengan seo - echotuts

1.   Masuk ke blog anda
2.   Setting  > Search Preferences > Custom robots header tags > Edit > Ya
3.   Setelah muncul beberapa menu silahkan atur sesuai gambar di atas.
4.   Dan klik Save Changes

pengaturan diatas merupakan untuk memberitahu mesin pencari untuk mengindex semua is tetapi tetap tidak memperbolehkan user agent directory project untuk mengcrawl semua isi blog dan juga tidak boleh untuk menindex arsip blog anda.

Selamat mencoba. Cukup sekian artikel dari echotuts, semoga artikel ini bisa menambah wawasan kita. Mohon maaf atas Kekuranganya dan Terima Kasih telah berkunjung

Lastest update : 06/08/2015

Baca juga yang ini :
Previous
Next Post »

5 comments

Write comments
1 August 2015 at 22:33 delete

mantap gan siap di aplikasikan ! :D

Reply
avatar
6 August 2015 at 03:42 delete

Lengkap bahasannya, sangat bermanfaat buat saya. Makasih mas.

Reply
avatar
27 December 2015 at 21:28 delete

Hehe, nih sibuknya kalo buat blog baru. Mesti buka 'buku' lagi buat setting ini itu. Dicoba nih ya gan, makasih.

http://www.cinemaindo.asia/

Reply
avatar
11 May 2017 at 12:43 delete

makasih gan artikelnya

baca ini juga gan : https://sherlyagustine1234.blogspot.co.id

Reply
avatar