Berbagi cara lewat Tips & Trik

Ataeh memberikan uraian tentang CARA/KIAT/TRIK yang TEPAT untuk mempermudah anda

Semua Tentang Blogspot

Mengupas tentang Masalah Blog dan yang berhubungan dengan blog

Berbagi Template

Share template baik yang Premium atau Non Premium yang sudah pasti SEO

Setting Robot.txt Khusus Blogger Supaya Lebih SEO Friendly

Setting Robot txt

Cara setting robot txt di blogspot – Jadi begini sobat ATAEH, dalam pengaturan blogspot itu ada istilah robot txt. lalu apa fungsi dari robot txt? seberapa penting pengaturan robot txt? Mari kita bahas bersama sobat.

Apa Itu Robot.txt?

Robot.txt atau yang biasa dikenal sebagai protokol pengecualian robot atau protokol Robot.txt  adalah sebuah ketentuan para pengguna blog untuk mencegah web crawler dan robot web lain, dari pengaksesan seluruh atau sebagian situs web yang tidak di izinkan untuk di index.

Apa Fungsi Robot.txt?

Fungsi Robot.txt adalah berfungsi untuk mengontrol halaman-halaman tertentu agar tidak diindeks oleh spider mesin pencari, atau situs jejaring sosial seperti Friendster, Facebook, dan Twitter

Seberapa Penting Robot.txt?

Dengan mengganti aturan bawaan dasar pengaturan Robot.txt , maka hal ini membuat artikel yang kita upload menjadi lebih SEO friendly. Karena Dengan mengganti Robot.txt  bawaan blogger, Kita bisa menentukan mana yang boleh di index oleh mesin pencari dan mana yang tidak Sobat perbolehkan.

OkeSobat, sekarang kita sudah tau apa dan bagaimana Robot.txt itu, sekarang mari kita melakukan cara merubah Robot.txt.

Ikuti langkah-langkah ini untuk melakukan setting Robot.txt di blogspot Sobat.

  1. Masuk ke blog blogger Sobat.
  2. Arahkan ke Settings >> Shearch Preferences >> Crawlers and Indexing >> Custom robots.txt >> Edit >> Yes (pastekan Robot.txt)
  3. Klik tombol Save Changes.

Sekarang pastekan kode file Robot.txt Sobat dalam kotak. Sobat tinggal memilih pengaturan Robot.txt di bawah ini.

1. Robots.txt Default

Pakai saja Settingan Robot.txt default, karena inilah yang paling aman dan juga efektif. Untuk settingan Robot.txt ini, pertama kali Sobat membuat blog, seketika itu Robot.txt sudah aktif. Berikut ini adalah Robot.txt default dari blogger.


User-agent: Mediapartners-Google

Disallow: 

User-agent: *

Disallow: /search

Allow: /

Sitemap: https://LINK.blogspot.com/sitemap.xml

Keterangan:

User-agent: Mediapartners-Google {Penanda bahwa blog menggunakan AdSense}

Disallow: {Yang tidak dibolehkan tidak ada}

User-agent: * {Semua robot mesin pencari}

Disallow: / search {Tidak mengijinkan url setelah /search seperti ..../search/label dan ... search/search?updated...}

Allow: / {Yang diijinkan untuk dirayapi. Tanda (/) adalah nama blog.}

Sitemap: https://LINK.blogspot.com/sitemap.xml {Sitemap/peta situs blog.}

Pada kode Disallow: /search, artinya pembatasan atau tidak diizinkan merayapi halaman seperti https://LINK.com/search/label/SEO, karena link tersebut tidak menuju ke satu halaman satu artikel penuh.

2. Custom Robot.txt

Menggunakan Robot.txt di atas sebenarnya sudah cukup, tetapi apabila Sobat tetap ingin melakukan customasi pada Robot.txt, maka modifikasi Robot.txt di bawah bisa Sobat pakai.


User-agent: Mediapartners-Google
Disallow:

User-agent: *

Disallow: /p/about.html

Disallow: /p/contact.html

Allow: /

Sitemap: https://LINK.blogspot.com/sitemap.xml

Custom robots.txt di atas memberikan sebuah perintah kepada mesin pencari untuk tidak merayapi halaman About dan halaman Contact pada halaman statis. jika sobat ingin halaman tertentu tidak dirayapi mesin pencari, maka sobat tinggal menambahkan seperti cara di atas.

3. Setting Tag Tajuk Robot Khusus

Untuk mengaktifkan tag tajuk robot khusus,

Arahkan ke Settings>> Shearch Preferences>>Tag Tajuk (posisi dibawah Setting Robot.txt)

Robot.txt Tester

Sobat bisa cek Setingan robot,txt sobat dengan cara masuk di google webmasters tool lalu klik Crawl >> Robot.txt Tester. Lihat gambar di bawah ini:

Ada hal yang penting untuk sobat ketahui tentang Robot.txt adalah "Berhati-hatilah menggunakan Robot.txt. Karena Penggunaan yang tidak benar dari fitur ini dapat mengakibatkan blog Sobat di abaikan oleh mesin pencari".

Mungkin sekian dulu penjelasan dari ATAEH tentang Setting Robot.txt Khusus Blogger Supaya Lebih SEO Friendly, semoga bermanfaat

Related Posts:

Disqus Comments

NEWSLETTER SIGNUP