Cara Setting Robots.txt SEO Friendly di Blogger
Robots.txt adalah file kecil yang memberi instruksi kepada bot mesin pencari (seperti Googlebot) tentang bagian mana dari blog yang boleh atau tidak boleh dirayapi (crawl). Di Blogger, kamu bisa mengatur robots.txt tanpa hosting tambahan, langsung dari menu pengaturan.
Mengapa Robots.txt Penting?
- Mengarahkan crawler agar fokus ke halaman penting (post/artikel).
- Mencegah pengindeksan halaman yang tidak berguna (mis. hasil pencarian internal).
- Memudahkan Google menemukan sitemap blog.
Lokasi Robots.txt
File ini dapat dilihat di:
https://namablog.blogspot.com/robots.txt
Contoh Robots.txt Default Blogger
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://namablog.blogspot.com/sitemap.xml
Makna singkatnya: hasil pencarian internal (/search) diblokir dari indeks, sementara halaman lain tetap diizinkan. Sitemap default juga tercantum.
Robots.txt SEO Friendly (Rekomendasi)
Gunakan versi yang bersih dan aman berikut (ganti namablog.blogspot.com dengan domain blog kamu):
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Disallow: /share-widget
Allow: /
Sitemap: https://namablog.blogspot.com/sitemap.xml?page=1
Sitemap: https://namablog.blogspot.com/sitemap-pages.xml
/searchdiblokir agar halaman pencarian internal yang bersifat duplikat tidak terindeks./share-widgetdiblokir karena tidak penting untuk SEO.sitemap.xml?page=1memuat hingga 500 artikel pertama (cukup untuk blog ≤ 500 posting). Tambahkan?page=2jika artikel > 500.sitemap-pages.xmluntuk halaman statis (About, Kontak, dsb.).
Cara Mengaktifkan Robots.txt Custom di Blogger
- Buka Blogger → Setelan → bagian Perayapan dan pengindeksan.
- Aktifkan Aktifkan konten robots.txt khusus.
- Tempel kode robots.txt rekomendasi di atas.
- Simpan, lalu cek hasilnya di:
https://namablog.blogspot.com/robots.txt
Tips Optimasi Aman
- Jangan blokir URL penting (mis.
/p/untuk halaman statis, halaman posting/artikel). - Selalu sertakan baris
Sitemap:agar Google lebih cepat menemukan konten. - Gunakan Disallow seperlunya; terlalu agresif bisa membuat artikel gagal terindeks.
- Setelah mengubah robots.txt, pantau status crawl di Google Search Console.
Contoh untuk Blog Kamu (51 Posting)
Jika total posting kamu saat ini 51 artikel, cukup satu halaman sitemap page=1 + sitemap halaman statis:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Disallow: /share-widget
Allow: /
Sitemap: https://namablog.blogspot.com/sitemap.xml?page=1
Sitemap: https://namablog.blogspot.com/sitemap-pages.xml
Pertanyaan yang Sering Diajukan (FAQ)
Apakah robots.txt wajib diubah di Blogger?
Tidak wajib. Default Blogger sudah aman. Namun, robots.txt custom yang rapi membantu mengarahkan crawler dan menambahkan sitemap yang tepat.
Apakah robots.txt bisa mempercepat indeks artikel?
Tidak secara langsung. Robots.txt mengatur area crawl. Indeksasi dipengaruhi banyak faktor (internal link, kualitas konten, dan sitemap XML).
Apa akibat salah setting robots.txt?
Jika terlalu banyak halaman diblokir, Googlebot bisa gagal merayapi artikel sehingga tidak terindeks. Trafik organik bisa turun drastis.
Perlukah menambahkan lebih dari satu sitemap?
Untuk ≤ 500 posting cukup sitemap.xml?page=1 dan sitemap-pages.xml. Jika > 500, tambahkan sitemap.xml?page=2 (dan seterusnya).
Apakah boleh memblokir label atau arsip?
Hindari memblokir halaman yang membantu navigasi pengguna kecuali memang menimbulkan duplikasi parah. Prioritaskan blokir pada hasil pencarian internal /search.
Ringkasan
Gunakan robots.txt yang sederhana, blokir hanya halaman yang tidak berguna untuk indeks, dan pastikan sitemap yang tepat tercantum. Setelah update, pantau Google Search Console untuk memastikan crawler bekerja normal.
Komentar
Posting Komentar