Artikel baru sudah dipublikasikan, halaman produk terus bertambah, tetapi sebagian URL belum juga muncul di Google. Apakah penyebabnya crawl budget?
Bisa saja ada kendala crawling, tetapi jangan langsung mengambil kesimpulan. Halaman yang belum dirayapi dan halaman yang sudah dirayapi tetapi tidak diindeks membutuhkan pemeriksaan berbeda.
Crawl budget adalah alokasi sumber daya yang digunakan Google untuk merayapi sebuah website, dipengaruhi oleh kapasitas crawling dan permintaan crawling. Optimasi bertujuan membantu Google mengakses konten penting secara efisien, tanpa terhambat masalah server atau terlalu banyak URL yang tidak diperlukan.
Berikut cara memahami dan memeriksanya agar perbaikan SEO lebih tepat sasaran.
Apa Itu Crawl Budget?
Crawl budget terbentuk dari dua komponen:
| Komponen | Penjelasan |
| Crawl capacity limit | Seberapa banyak aktivitas crawling yang dapat ditangani tanpa membebani server |
| Crawl demand | Seberapa besar kebutuhan Google untuk merayapi URL website |
Artinya, server yang kuat belum tentu membuat Google terus meningkatkan crawling. Google juga mempertimbangkan kebutuhan untuk menemukan atau memperbarui konten.
Menurut Google, pembahasan crawl budget terutama relevan untuk situs sangat besar, situs dengan banyak halaman yang berubah cepat, atau situs dengan proporsi besar URL berstatus “Discovered – currently not indexed”. Angka ukuran website dalam panduannya merupakan perkiraan, bukan batas mutlak.
Untuk website company profile atau blog kecil, dahulukan pemeriksaan akses halaman, internal link, sitemap, dan kualitas konten.
Bedakan Crawling, Indexing, dan Ranking
Ketiganya berkaitan, tetapi memiliki fungsi berbeda.
| Tahap | Apa yang terjadi? |
| Crawling | Google mengakses URL dan mengambil kontennya |
| Indexing | Google memproses serta menilai kelayakan halaman untuk masuk indeks |
| Ranking | Google menentukan posisi hasil yang relevan untuk pencarian tertentu |
Berhasil dirayapi tidak menjamin halaman diindeks. Berhasil diindeks juga tidak menjamin ranking tinggi.
Karena itu, jika Google sudah mengambil halaman tetapi belum memasukkannya ke indeks, menaikkan aktivitas crawling saja belum tentu menyelesaikan masalah. Google menekankan perbedaan ini dalam panduan pemecahan masalah crawling.
Kapan Crawl Budget Perlu Diperiksa?
Lakukan pemeriksaan lebih lanjut jika menemukan beberapa kondisi berikut:
- Banyak halaman penting belum pernah dirayapi.
- Perubahan konten penting terlambat ditemukan.
- Website menghasilkan sangat banyak URL filter atau parameter.
- Server sering mengalami error atau sulit diakses.
- Aktivitas crawling banyak menyentuh URL yang tidak bernilai bagi pencarian.
Temuan tersebut merupakan petunjuk awal, bukan bukti tunggal bahwa crawl budget bermasalah.
Sebagai contoh, halaman baru yang tidak memiliki tautan internal mungkin sulit ditemukan. Solusinya dimulai dari memperbaiki jalur penemuan halaman, bukan langsung meningkatkan kapasitas hosting.
Cara Membantu Google Merayapi Halaman Penting
1. Tentukan Halaman yang Menjadi Prioritas Bisnis
Mulai dengan membuat daftar URL yang paling penting bagi pengguna dan bisnis.
Contohnya:
- Halaman layanan utama.
- Kategori produk.
- Produk yang masih tersedia.
- Artikel panduan yang menjawab kebutuhan pelanggan.
- Halaman lokasi bisnis yang memiliki informasi unik.
Catat kondisi setiap URL: apakah dapat diakses, memiliki internal link, masuk sitemap, dan pernah dirayapi.
Daftar ini membantu tim menentukan urutan pekerjaan. Tujuannya bukan memaksa Google mengikuti prioritas bisnis, tetapi memastikan halaman penting tidak terhambat konfigurasi website sendiri.
2. Perbaiki Internal Link
Halaman penting sebaiknya memiliki tautan dari halaman lain yang relevan. Hindari menerbitkan halaman lalu membiarkannya tanpa jalur navigasi yang jelas.
Contoh penerapannya:
- Artikel tentang audit SEO menautkan halaman layanan SEO.
- Halaman kategori menautkan produk yang sesuai.
- Artikel pendukung menautkan panduan utama.
- Menu mengarahkan pengguna ke bagian utama website.
Gunakan teks tautan yang menjelaskan tujuan halaman. Google menyarankan tautan yang dapat dirayapi, umumnya berupa elemen HTML <a> dengan atribut href.
Contoh:
<a href=”/layanan-seo/”>Layanan SEO untuk bisnis</a>
Tautan harus membantu pengguna menemukan informasi lanjutan, bukan sekadar ditambahkan sebanyak mungkin.
3. Jaga XML Sitemap Tetap Relevan
Masukkan URL pilihan yang ingin ditampilkan di Google dan pastikan alamatnya konsisten dengan versi canonical.
Periksa apakah sitemap masih memuat:
- URL lama yang sudah dialihkan.
- Halaman yang telah dihapus.
- Halaman berstatus noindex.
- URL duplikat yang bukan versi pilihan.
Gunakan nilai <lastmod> sesuai perubahan konten yang sebenarnya. Jangan memperbarui tanggal seluruh halaman setiap hari jika isinya tidak berubah.
Google menggunakan <lastmod> apabila nilainya konsisten dan dapat diverifikasi. Pengiriman sitemap tetap merupakan petunjuk, bukan jaminan seluruh URL langsung dirayapi atau diindeks.
4. Kendalikan URL Filter dan Parameter
Website toko online bisa menghasilkan banyak kombinasi URL dari filter warna, ukuran, harga, dan urutan produk.
Contohnya:
/sepatu/
/sepatu/?warna=hitam
/sepatu/?warna=hitam&ukuran=42
/sepatu/?warna=hitam&ukuran=42&urut=harga
Tidak semua kombinasi perlu menjadi halaman pencarian.
Pisahkan filter yang memiliki nilai bagi pengguna pencarian dari kombinasi yang hanya membantu penggunaan website. Untuk URL yang memang tidak perlu dirayapi, pertimbangkan pengendalian crawling setelah memeriksa dampaknya.
Google memiliki panduan khusus navigasi berfilter karena banyaknya kombinasi URL dapat menimbulkan aktivitas crawling berlebihan.
Jangan memblokir seluruh parameter secara otomatis. Sebagian mungkin digunakan oleh halaman yang penting.
5. Konsistenkan URL Canonical
Konten yang sama dapat tersedia melalui beberapa alamat. Tentukan versi pilihan, lalu selaraskan internal link, sitemap, dan sinyal canonical.
Contoh:
https://example.com/produk/tas/
https://example.com/produk/tas/?sumber=email
Jika keduanya menampilkan konten yang sama, periksa apakah canonical sudah mengarah ke versi yang sesuai.
Google menjelaskan bahwa canonical membantu menunjukkan URL perwakilan untuk halaman duplikat atau sangat mirip. Namun, canonical bukan larangan crawling dan tidak menjamin URL alternatif berhenti diakses.
6. Perpendek Rantai Redirect
Saat halaman dipindahkan, hindari jalur berputar seperti:
URL A → URL B → URL C → URL tujuan
Jika memungkinkan, arahkan URL lama langsung ke tujuan yang relevan. Perbarui juga internal link agar tidak terus menunjuk alamat lama.
Gunakan pengalihan permanen ketika perpindahan memang bersifat permanen. Google membedakan pengalihan sementara dan permanen dalam pemrosesan URL.
Jangan mengalihkan semua halaman yang dihapus ke beranda tanpa mempertimbangkan relevansinya.
7. Atasi Gangguan Server
Periksa apakah Google menghadapi timeout, error 5xx, atau masalah ketersediaan saat mengakses website.
Prioritaskan penyebab yang nyata, misalnya gangguan hosting, konfigurasi firewall, atau proses aplikasi yang lambat. Penambahan kapasitas server layak dipertimbangkan jika pemeriksaan menunjukkan keterbatasan kapasitas.
Google menyebut masalah ketersediaan dapat menghambat crawling yang ingin dilakukannya. Namun, memperbaiki ketersediaan tidak otomatis meningkatkan alokasi crawling jika permintaannya rendah.
8. Periksa Robots.txt Sebelum Mengubahnya
Pastikan halaman layanan, produk, artikel, dan resource penting tidak terblokir tanpa sengaja.
Jangan menggunakan robots.txt untuk memindahkan “jatah crawl” secara bergantian dari satu folder ke folder lain. Pembatasan sebaiknya mencerminkan bagian yang memang tidak ingin dirayapi dalam jangka panjang.
Jika tujuan Anda mengeluarkan halaman dari indeks, gunakan pendekatan pengendalian indeks yang sesuai. Memblokir crawling dapat membuat Google tidak membaca instruksi noindex pada halaman.
Cara Memeriksa Crawling di Google Search Console
Gunakan Crawl Stats untuk Melihat Kondisi Umum
Buka Settings → Crawl stats pada properti yang mendukung laporan tersebut.
Perhatikan:
| Data | Kegunaan |
| Total crawl requests | Melihat perubahan aktivitas permintaan |
| Average response time | Memeriksa perubahan waktu respons |
| Host status | Menemukan masalah ketersediaan |
| Crawl responses | Memeriksa respons server dan error |
| Crawl purpose | Membandingkan discovery dengan refresh |
Jumlah permintaan mencakup resource dan permintaan berulang, sehingga tidak sama dengan jumlah halaman unik yang dirayapi. Google juga menyebut laporan ini terutama ditujukan bagi pengguna tingkat lanjut; situs di bawah seribu halaman umumnya tidak perlu mengkhawatirkan detail pada tingkat ini.
Gunakan URL Inspection untuk Halaman Tertentu
Periksa sampel halaman penting melalui URL Inspection. Bandingkan informasi versi yang diketahui Google dengan hasil pengujian aktif.
Untuk banyak URL baru atau yang diperbarui, Google menyarankan sitemap sebagai metode penemuan. Permintaan pengindeksan bukan cara untuk memaksa semua URL masuk indeks.
Pada website besar, analisis log server dapat melengkapi pemeriksaan untuk mengetahui URL yang benar-benar diminta crawler.
Contoh Prioritas Audit Crawl Budget
Berikut ilustrasi urutan pekerjaan untuk toko online dengan banyak URL.
| Temuan | Tindakan awal |
| Halaman kategori utama terblokir | Perbaiki aturan dan uji kembali |
| Produk aktif tidak memiliki internal link | Tambahkan tautan dari kategori relevan |
| Banyak kombinasi filter tidak bernilai | Evaluasi pembentukan URL dan kontrol crawling |
| Sitemap memuat URL redirect | Perbarui ke URL tujuan |
| Error server muncul berulang | Cari penyebab bersama tim teknis |
| Halaman sudah dirayapi tetapi tidak diindeks | Evaluasi konten, duplikasi, serta sinyal pengindeksan |
Urutkan berdasarkan dampak dan bukti. Hindari melakukan perubahan besar sekaligus jika hasilnya akan sulit dievaluasi.
FAQ Crawl Budget
Apakah crawl budget perlu dioptimalkan untuk semua website?
Tidak. Untuk situs kecil, pemeriksaan teknis dasar dan kualitas halaman biasanya lebih penting daripada pengaturan crawl budget tingkat lanjut.
Apakah semakin banyak crawling semakin bagus?
Belum tentu. Yang perlu diperhatikan adalah apakah halaman penting dapat ditemukan dan diperbarui tanpa hambatan.
Apakah menambah hosting pasti meningkatkan crawling?
Tidak. Hosting yang lebih kuat membantu jika kapasitas server menjadi kendala, tetapi kebutuhan crawling Google tetap berpengaruh.
Apakah noindex menghemat crawl budget?
Google perlu mengakses halaman untuk membaca noindex. Karena itu, jangan menggunakannya semata-mata sebagai alat penghemat crawling.
Apakah jumlah URL tidak diindeks harus dibuat nol?
Tidak. Sebagian URL memang dapat berupa duplikat, pengalihan, atau halaman yang tidak ditujukan untuk pencarian. Fokus pada kondisi URL yang penting.
Bantu Google Menemukan Halaman yang Mendukung Bisnis
Optimasi crawling dimulai dari struktur website yang jelas, URL yang terkendali, dan server yang dapat diakses. Ukur hasilnya dari perbaikan pada halaman penting, bukan hanya kenaikan jumlah permintaan crawler.
DIFITECH | Digital Marketing Agency membantu kebutuhan SEO dan pengembangan website bisnis.
Sudah banyak membuat konten, tetapi halaman layanan atau produk masih sulit ditemukan di Google? Yuk, konsultasikan website Anda dengan DIFITECH. Periksa hambatan crawling, pengindeksan, dan struktur halaman agar perbaikan SEO dimulai dari masalah yang tepat.
