Cara Setting Robot.txt dan Robot Header Tags BLOG SEO INDONESIA KEMAL SEO

Cara Setting Robot.txt dan Robot Header Tags

Robots.txt adalah Sebuah file dengan fungsi untuk membatasi akses robot mesin pencari yang sedang menjelajahi situs web .

Sebelum mereka mengakses halaman web, mereka memeriksa untuk melihat apakah sebuah file Robots.txt ada / tidak , dan di dalam robots.txt ada perintah yang mencegah mereka mengakses halaman tertentu.

Meskipun Google / Mesin pencari lainnya tidak akan meng-crawl atau mengindeks konten halaman yang diblokir oleh robots.txt, masih mungkin URL kita di index , hal ini terjadi karena URL kita di temukan di situs lain. Akibatnya, URL kita berpotensi menjadi informasi publik & dapat muncul dalam hasil pencarian.

CARA MENGAKTIFKAN DAN SETTING ROBOT.TXT

1. Log in ke blogger dengan akun blogger anda.
2. Klik Settings Lalu > klik Search Preference.

3. Lalu pilih Custom Robots.txt dan Edit.

4. Masukkan kode ini :

User-agent: *
Disallow: /search?*
User-agent: Mediapartners-Google
Allow:/
Sitemap: http://kemalseo.blogspot.com/feeds/posts/default?orderby=updated
Sitemap: http://kemalseo.blogspot.com/sitemap.xml

5. Lalu Save changes.

Keterangan:
Kelompok baris pertama merupakan informasi user agent milik google menandakan bahwa blog ini adalah partner dari google, hal ini memudahkan bagi anda yang ingin menggunakan jasa google adsense agar iklan yang nantinya ditampilkan relevan dengan isi blog anda, juga memberitahukan bahwa blog kita bisa diakses melalui mesin pencari.

Kelompok baris kedua adalah informasi untuk semua mesin crawler search engine. Disana dituliskan disallow:/search yag menandakan semua robot mesin pencari tidak boleh mengindeks page label.
yang ini berguna untuk menegah duplikasi artikel yang sangat tidak disukai oleh google.
Kelompok baris ketiga merupakan sitemap yang berfungsi memudahkan mesin pencari mengindeks blog anda

Tanda "/" adalah tanda home page anda jadi jangan hanya meletakkan tanda ini pada kolom disallow karena berakibat mesin pencari tidak bisa mengindex home anda.

CARA SETTING ROBOT HEADER TAGS

1. Masih di menu setting Search preferences / Preferensi penelusuran.
2. Dibagian paling bawah ada menu Custom Robots header tags. Klik edit.
3. Pilih yes.
4. Akan muncul kotak settingan, samakan setingan seperti gambar dibawah ini.

5. Ceklis Sperti gambar di atas lalu save changes.

43 comments

Write comments

Unknown

AUTHOR

15 December 2013 at 13:49 delete

wah. bermanfaat banget gan. makasih ya gan atas tipsnya

15 December 2013 at 13:57 delete

Keuntunganya apa mas kemal,
kalo menggunakan Robot.txt? ^_^

Gifari Kemal Suryo

15 December 2013 at 14:00 delete

Sama-sama sob
salam kenal :D

Keuntungannya artikel kita, cepat terindex oleh google,
daan juga bisa menaikkan rank artikel..

15 December 2013 at 14:04 delete

hoohhh, makasih yaa mas udh share

15 December 2013 at 14:12 delete

sama-sama sob :D

alfian

15 December 2013 at 21:11 delete

ane coba dulu gan kebetulan ni perlu tutorialnya , semoga hasilnya bagus ..
ini emng asli settingan blog agan kn ??

15 December 2013 at 21:14 delete

oke sob,,,
semoga bermanfaat dan salam kenal.
asli donk ^_^

Anonymous

16 December 2013 at 00:15 delete

mantap !!

17 December 2013 at 11:27 delete

wahhh sangat bermanfaat sekali sob.
boleh di coba donk :D

17 December 2013 at 11:44 delete

Berarti artikle kita, bisa terindex dengan cpet ya sob ^_^ .?

17 December 2013 at 15:41 delete

bagus gan artikelnya. sangat membantu

Muhammad Surya

17 December 2013 at 15:44 delete

Saya coba dlu tutornya sob

Awam Store

17 December 2013 at 15:48 delete

wah mantep nih gan trik nýa, izin comot ilmunnya, hehehe, thanks for share. . .

17 December 2013 at 15:55 delete

Makasih sob :D

tentu boleh. :)
Salam kenal

17 December 2013 at 15:56 delete

Iya sob, itulah kelebihan Robot.txt

hhha, oke sob. :D

17 December 2013 at 15:57 delete

Silahkan.

silahkan sob, terima kasih kembali

17 December 2013 at 18:43 delete

keren gan tips nya makasih

17 December 2013 at 18:48 delete

xixi Makasih sob,
Sama-sama :D

17 December 2013 at 18:51 delete

Keren Tipsnya !

17 December 2013 at 21:15 delete

Makasih Sob :D

Thrivinia

17 December 2013 at 21:28 delete

nice info gan
izin sedot

17 December 2013 at 21:44 delete

oke sob

Rob

18 December 2013 at 12:18 delete

mantep nih trick bisa nambahin statistik blog nih...

18 December 2013 at 12:45 delete

Hmmm, tepat sekali sob :D

Mas Gojal

18 December 2013 at 19:02 delete

Ane pasang robot txtnya dulu bermanfaat gan :)

18 December 2013 at 19:05 delete

Sabriyanto Syaban

18 December 2013 at 21:23 delete

Wah mantab perlu di coba ini..!!!

18 December 2013 at 21:31 delete

Silahkan :D

spyp

18 December 2013 at 21:32 delete

keren artikelnya dan saya akan coba , tapi keuntunganya apa saja ya gan ??

18 December 2013 at 21:39 delete

Mkasih sob.
Keuntungannnya artikel kita akan cepat terindek oleh google. :D

Rio Ilham Hadi

19 December 2013 at 14:09 delete

blog saya nih dulu gampang masuk ke google, sekarang jadi nggak masuk sama sekali, semoga dengan mencoba setting robot.txt bisa membuat blog saya terindex google lagi...