
Robots.txt: Kolom yang Tidak Didukung Diabaikan
Google membatasi dukungan robots.txt ke empat bidang, mengklarifikasi pendiriannya tentang arahan yang tidak didukung.
Dalam pembaruan terkini pada dokumentasi Pusat Pencariannya, Google telah mengklarifikasi posisinya mengenai bidang yang tidak didukung dalam file robots.txt.
Pembaruan Utama
Google telah menyatakan bahwa perayapnya tidak mendukung bidang yang tidak tercantum dalam dokumentasi robots.txt.
Klarifikasi ini merupakan bagian dari upaya Google untuk memberikan panduan yang jelas kepada pemilik dan pengembang situs web.
Google menyatakan:
“Terkadang kami mendapat pertanyaan tentang bidang yang tidak secara eksplisit tercantum sebagai bidang yang didukung, dan kami ingin menjelaskan dengan jelas bahwa bidang tersebut tidak didukung.”
Pembaruan ini seharusnya menghilangkan kebingungan dan mencegah situs web bergantung pada arahan yang tidak didukung.
Apa Artinya:
- Tetapkan pada Bidang yang Didukung : Gunakan hanya bidang yang disebutkan secara eksplisit dalam dokumentasi Google.
- Tinjau Berkas Robots.txt yang Ada : Audit berkas robots.txt saat ini untuk memastikan berkas tersebut tidak berisi arahan yang tidak didukung.
- Memahami Keterbatasan : Perayap Google mungkin tidak mengenali arahan pihak ketiga atau khusus tertentu.
Bidang yang didukung:
Menurut dokumentasi yang diperbarui, Google secara resmi mendukung bidang berikut dalam file robots.txt:
- agen pengguna
- mengizinkan
- melarang
- peta situs
Kelalaian yang Menonjol:
Meskipun tidak dinyatakan secara eksplisit, klarifikasi ini menyiratkan bahwa Google tidak mendukung perintah yang umum digunakan seperti “ crawl-delay ,” meskipun mesin pencari lain mungkin mengenalinya.
Selain itu, perlu dicatat bahwa Google sedang menghentikan dukungan untuk perintah ‘
noarchive ‘.
Melihat ke Depan:
Pembaruan ini merupakan pengingat untuk selalu mengikuti pedoman resmi dan praktik terbaik.
Ini menyoroti perlunya menggunakan fitur-fitur yang terdokumentasi daripada mengasumsikan dukungan untuk arahan yang tidak terdokumentasi.
Lihat dokumentasi Pusat Pencarian resmi Google untuk informasi lebih rinci tentang implementasi dan praktik terbaik robots.txt.