Cara Membuat File Robots.txt Standar SEO di Blogger

File Robots.txt adalah file teks dalam bentuk .txt . File ini adalah bagian dari Robots Exclusion Protocol (REP) yang berisi grup web, standar yang mengatur bagaimana Web Robots (Atau robot mesin pencari) merayapi web, mengakses, mengindeks, konten, dan menyediakan konten itu kepada pengguna blogger.

Robots.txt di blog biasanya telah ditetapkan sebagai standar oleh penyedia layanan blognya. Untuk blog blogspot, default robots.txt diatur seperti ini:

User-agent: Mediapartners-Google
disallow:
User-agent: *
disallow: /search
allow: /
sitemap: http://blogURL/feed/posts/default?orderby=UPDATED

Arti dari kode robots.txt :

  • User-agent: Mediapartners-Google itu berarti bahwa kode yang ditempatkan di bawahnya hanya berlaku untuk Bot Crawler/robot perayap Mediapartners-Google. Mediapartners-Google adalah bot crawler untuk google adsense.
  • Disallow: Ini berarti bahwa tidak ada batasan halaman merangkak oleh crawler, dengan kata lain, memungkinkan crawler merangkak semua halaman di situs.
  • User-agent: * ini berarti bahwa kode/perintah yang ditempatkan di bawahnya berlaku padasemua robot crawler (diwakili dengan kode ‘*’).
  • disallow: /search melarang crawler untuk menjelajah url yang memiliki awalan urlblogkamu.com/search.
  • allow: / Membiarkan crawler merayapi semua halaman kecuali yang dicantumkan pada perintah disallow.
  • Sitemap: Ini adalah sitemap dari situs kamu yang diberitahukan kepada crawler agar mudah ketika menjelajahinya lagi. Sitemap berisi semua link yang ada disitus untuk dirayapi crawler.

Cara membuat file robots.txt :

  1. Langkah pertama silahkan mengunjungi situs web Labnol  lalu memasukkan URL situs web kamu kemudian  pilih GENERATE SITEMAP
  2. Setelah Generate, website akan menghasilkan robot.txt untuk kamu.
  3. Salin kode diatas kemudian buka menu Setelan > Crawler dan pengindeksan > robots.txt kustom> klik Edit dan tempel > Simpan

Demikian Cara Membuat File Robots.txt Standar SEO di Blogger ini. Saya bukan ahli SEO, jika ada yang salah dalam tutorial tersebut harap koreksi dan memberikan komentar dibawah.
Baca juga :