Google Mendiagnosis Masalah Perayapan Multi-Domain

Google Search Advocate membantu mendiagnosis masalah perayapan, merekomendasikan pemeriksaan infrastruktur bersama saat beberapa domain terpengaruh.

• Infrastruktur bersama (seperti CDN) sering kali menjadi akar penyebab ketika Google berhenti merayapi beberapa domain.
• Data Search Console dapat membantu membedakan antara masalah DNS dan permintaan yang gagal.
• Gangguan perayapan singkat yang hanya berlangsung beberapa jam tidak memengaruhi peringkat pencarian.

Advokat Penelusuran Google, John Mueller, berbagi wawasan tentang mendiagnosis masalah perayapan yang tersebar luas.

Panduan ini dibagikan sebagai respons terhadap gangguan yang dilaporkan oleh Adrian Schmidt di LinkedIn . Perayap Google berhenti mengakses beberapa domainnya secara bersamaan.

Meskipun terjadi gangguan, Schmidt mencatat bahwa pengujian langsung melalui Search Console terus berfungsi tanpa pesan kesalahan.

Investigasi menunjukkan tidak ada peningkatan kesalahan 5xx atau masalah dengan permintaan robots.txt.

Apa masalahnya?

Tanggapan Mueller

Menanggapi situasi ini, Mueller menunjuk infrastruktur bersama sebagai kemungkinan penyebabnya:

“Jika dibagikan di beberapa domain dan berfokus pada sesuatu seperti perayapan, mungkin ada masalah dengan infrastruktur yang dibagikan. Jika sudah pulih, setidaknya tidak lagi mendesak dan Anda punya sedikit waktu untuk memeriksa perubahan terkini/catatan infrastruktur.”

Investigasi Infrastruktur

Semua situs yang terkena dampak menggunakan Cloudflare sebagai CDN mereka, yang menimbulkan beberapa pertanyaan.

Saat ditanya tentang debugging, Mueller menyarankan untuk memeriksa data Search Console guna menentukan apakah DNS atau permintaan yang gagal yang menyebabkan masalah.

Mueller menyatakan:

“Statistik perayapan di Search Console juga akan menunjukkan lebih banyak hal, mungkin membantu memutuskan antara DNS atau permintaan yang gagal.”

Dia juga menunjukkan bahwa waktu adalah petunjuk utama:

“Jika semuanya terjadi pada saat yang bersamaan, itu bukan robots.txt, dan mungkin bukan DNS.”

Dampak pada Hasil Pencarian

Mengenai masalah visibilitas pencarian, Mueller meyakinkan bahwa gangguan jenis ini tidak akan menimbulkan masalah apa pun:

“Jika ini terjadi hari ini, dan hanya berlangsung beberapa jam, saya tidak menduga akan ada masalah yang terlihat dalam penelusuran.”

Mengapa Hal Ini Penting

Ketika Googlebot tiba-tiba berhenti merayapi sejumlah situs secara bersamaan, mungkin sulit untuk mengidentifikasi akar permasalahannya.

Meskipun jeda perayapan sementara mungkin tidak langsung memengaruhi peringkat pencarian, hal itu dapat mengganggu kemampuan Google untuk menemukan dan mengindeks konten baru.

Insiden ini menyoroti kerentanan yang mungkin dihadapi organisasi tanpa menyadarinya, terutama mereka yang mengandalkan infrastruktur bersama.

Bagaimana Ini Dapat Membantu Anda

Jika Googlebot berhenti merayapi situs Anda:

• Periksa apakah masalahnya menyerang beberapa situs sekaligus
• Lihat infrastruktur bersama Anda terlebih dahulu
• Gunakan data Search Console untuk mempersempit penyebabnya
• Jangan mengesampingkan DNS hanya karena lalu lintas biasa terlihat baik-baik saja
• Awasi log Anda

Bagi siapa pun yang menjalankan beberapa situs di belakang CDN, pastikan Anda:

• Memiliki pengaturan pencatatan yang baik
• Perhatikan tingkat perayapan Anda
• Ketahui siapa yang harus dihubungi ketika keadaan menjadi tidak beres
• Pantau penyedia infrastruktur Anda