Google mengonfirmasi ambang batas anggaran perayapan halaman sebesar 1 juta halaman tetap berlaku setelah 5 tahun, tetapi efisiensi basis data lebih penting daripada jumlah halaman untuk performa SEO.
Google telah mengonfirmasi bahwa sebagian besar situs web masih tidak perlu khawatir tentang anggaran perayapan kecuali jika mereka memiliki lebih dari satu juta halaman. Namun, ada yang perlu diperhatikan.
Anggota tim Hubungan Penelusuran Google, Gary Illyes, mengungkapkan pada podcast baru-baru ini bahwa seberapa cepat basis data Anda beroperasi lebih penting daripada jumlah halaman yang Anda miliki.
Pembaruan ini hadir lima tahun setelah Google membagikan panduan serupa tentang anggaran perayapan. Meskipun ada perubahan signifikan dalam teknologi web, saran Google tetap tidak berubah.
Aturan Sejuta Halaman Tetap Sama
Selama podcast Search Off the Record, Illyes mempertahankan posisi Google yang telah lama dipegangnya saat pembawa acara Martin Splitt menanyakan tentang ambang batas anggaran perayapan.
Illyes menyatakan:
“Saya rasa 1 juta mungkin sudah cukup.”
Itu “mungkin” penting. Meskipun Google menggunakan satu juta halaman sebagai pedoman umum, faktor efisiensi basis data yang baru berarti situs yang lebih kecil pun dapat menghadapi masalah perayapan jika infrastrukturnya tidak efisien.
Yang mengejutkan adalah angka ini tetap tidak berubah sejak 2020. Web telah tumbuh secara signifikan, dengan peningkatan JavaScript, konten dinamis, dan situs web yang lebih kompleks. Namun, ambang batas Google tetap sama.
Kecepatan Basis Data Anda Adalah Yang Penting
Inilah berita besarnya: Illyes mengungkapkan bahwa basis data yang lambat lebih menghambat perayapan daripada memiliki sejumlah besar halaman.
Illyes menjelaskan:
“Jika Anda melakukan panggilan basis data yang mahal, itu akan menghabiskan banyak biaya pada server.”
Situs dengan 500.000 halaman tetapi kueri basis datanya lambat mungkin menghadapi lebih banyak masalah perayapan dibanding situs dengan 2 juta halaman statis yang dimuat dengan cepat.
Apa artinya ini? Anda perlu mengevaluasi kinerja basis data, bukan hanya menghitung jumlah halaman. Situs dengan konten dinamis, kueri kompleks, atau data waktu nyata harus memprioritaskan kecepatan dan kinerja.
Pemakan Sumber Daya yang Sebenarnya: Pengindeksan, Bukan Perayapan
Illyes menyampaikan sentimen yang bertentangan dengan apa yang diyakini banyak SEO.
Dia berkata:
“Bukan perayapan yang menghabiskan sumber daya, melainkan pengindeksan dan kemungkinan penyajian atau apa yang Anda lakukan dengan data saat Anda memproses data tersebut.”
Pertimbangkan apa artinya ini. Jika perayapan tidak menghabiskan banyak sumber daya, maka memblokir Googlebot mungkin tidak membantu. Sebaliknya, fokuslah untuk membuat konten Anda lebih mudah diproses oleh Google setelah dirayapi.
Bagaimana Kita Sampai Disini
Podcast tersebut memberikan beberapa konteks tentang skala. Pada tahun 1994, World Wide Web Worm hanya mengindeks 110.000 halaman, sementara WebCrawler mengindeks 2 juta halaman. Illyes menyebut angka-angka ini “lucu” dibandingkan dengan saat ini.
Ini membantu menjelaskan mengapa angka satu juta halaman tetap tidak berubah. Apa yang dulunya tampak besar di awal mula web kini hanya menjadi situs berukuran sedang. Sistem Google telah diperluas untuk mengelola ini tanpa mengubah ambang batas.
Mengapa Ambang Batas Tetap Stabil
Google telah berupaya keras untuk mengurangi jejak perayapannya. Illyes mengungkapkan mengapa hal itu menjadi tantangan.
Dia menjelaskan:
“Anda menghemat tujuh byte dari setiap permintaan yang Anda buat dan kemudian produk baru ini akan menambahkan kembali delapan byte.”
Dorongan dan tarik antara peningkatan efisiensi dan fitur baru ini membantu menjelaskan mengapa ambang batas anggaran perayapan tetap konsisten. Sementara infrastruktur Google berkembang, perhitungan dasar mengenai kapan anggaran perayapan penting tetap tidak berubah.
Apa yang Harus Anda Lakukan Sekarang
Berdasarkan wawasan ini, berikut hal-hal yang perlu Anda fokuskan:
Situs dengan Jumlah Halaman di Bawah 1 Juta:
Lanjutkan dengan strategi Anda saat ini. Prioritaskan konten dan pengalaman pengguna yang luar biasa. Anggaran perayapan bukan masalah bagi Anda.
Situs yang Lebih Besar:
Tingkatkan efisiensi basis data sebagai prioritas baru Anda. Ulasan:
- Waktu eksekusi kueri
- Efektivitas caching
- Kecepatan pembuatan konten dinamis
Semua Situs:
Alihkan fokus dari pencegahan perayapan ke pengoptimalan pengindeksan. Karena perayapan bukanlah masalah sumber daya, bantu Google dalam memproses konten Anda dengan lebih efisien.
Pemeriksaan Teknis Utama:
- Kinerja kueri basis data
- Waktu respons server
- Optimasi pengiriman konten
- Implementasi caching yang tepat
Melihat ke Depan
Panduan anggaran perayapan Google yang konsisten menunjukkan bahwa beberapa dasar SEO memang mendasar. Sebagian besar situs tidak perlu mengkhawatirkannya.
Namun, wawasan mengenai efisiensi basis data mengubah pembicaraan untuk situs yang lebih besar. Ini bukan hanya tentang jumlah halaman yang Anda miliki; ini tentang seberapa efisien Anda melayani halaman tersebut.
Bagi para profesional SEO, ini berarti menggabungkan kinerja basis data ke dalam audit SEO teknis Anda. Bagi para pengembang, ini menggarisbawahi pentingnya strategi pengoptimalan kueri dan penyimpanan sementara.
Lima tahun dari sekarang, ambang batas satu juta halaman mungkin masih berlaku. Namun, situs yang mengoptimalkan kinerja basis data mereka saat ini akan siap menghadapi apa pun yang akan terjadi selanjutnya.
