Sebuah utas Reddit tentang penurunan perayapan yang tajam memicu tanggapan dari John Mueller dari Google. Ia berpendapat bahwa penurunan mendadak biasanya menunjukkan 429/500/503 atau batas waktu, bukan 404.
Apa yang telah terjadi
Dalam utas tersebut, pembuat postingan mengatakan permintaan perayapan turun sekitar 90% dalam waktu 24 jam setelah menyebarkan URL hreflang yang rusak di header HTTP.
URL hreflang dilaporkan mengembalikan 404 ketika Googlebot mencoba mengambilnya.
Mereka menulis:
“Minggu lalu, sebuah penerapan secara tidak sengaja menambahkan URL hreflang yang rusak di header HTTP Link: di seluruh situs:
- Googlebot segera menjelajahinya → semuanya mengembalikan 404 keras.
- Dalam waktu 24 jam, permintaan perayapan turun ~90%.
- Halaman yang diindeks stabil, tetapi volume perayapan belum pulih”
Apa yang dikatakan Mueller
Mueller mempertanyakan apakah 404 saja akan menyebabkan penurunan yang begitu cepat dan menunjuk masalah sisi server sebagai penjelasan yang lebih mungkin.
Mueller menulis:
Saya hanya menduga laju perayapan akan bereaksi secepat itu jika mereka menampilkan 429/500/503/waktu habis, jadi saya akan memeriksa ulang apa yang sebenarnya terjadi (404 umumnya baik-baik saja & setelah terdeteksi, Googlebot akan tetap mengulanginya). Misalnya, jika CDN yang memblokir Googlebot, Anda perlu memastikan hal itu juga telah diatasi. Setelah server stabil, laju perayapan akan kembali normal secara otomatis. (Tidak ada waktu yang ditentukan, dan secara intuitif – saya tidak tahu apakah ini yang terjadi di sini – mengurangi laju perayapan masuk akal untuk dilakukan dengan cepat guna menyelesaikan masalah yang mendesak, dan meningkatkan laju perayapan masuk akal untuk dilakukan dengan hati-hati).”
Hal ini selaras dengan panduan manajemen perayapan yang didokumentasikan Google.
Jika Anda perlu membatasi perayapan untuk sementara waktu, Google merekomendasikan untuk mengembalikan respons 500, 503, atau 429. Respons 403/404 tidak dicantumkan untuk tujuan tersebut. Untuk informasi selengkapnya, lihat panduan Google tentang mengurangi laju perayapan .
Langkah Selanjutnya
Jika permintaan perayapan tiba-tiba menurun, verifikasi apa yang dikembalikan server dan CDN Anda ke Googlebot selama jendela tersebut:
- Periksa log dan Statistik Perayapan Search Console untuk lonjakan 429/500/503 atau batas waktu.
- Konfirmasikan bahwa CDN, WAF, atau pembatas kecepatan tidak menghalangi Googlebot.
- Validasi bahwa 404 yang dilaporkan adalah sinyal dominan dan bukan kebetulan.
Ingatlah bahwa pemulihan tidak instan. Mueller mengindikasikan bahwa tingkat perayapan akan kembali normal secara otomatis setelah masalah di sisi server teratasi, tanpa batas waktu yang pasti.
