Sebuah makalah penelitian baru dari Google DeepMind mengusulkan algoritma pemeringkatan pencarian AI baru yang disebut BlockRank. Algoritma ini bekerja sangat baik sehingga memungkinkan pemeringkatan pencarian semantik tingkat lanjut untuk dijangkau oleh individu dan organisasi. Para peneliti menyimpulkan bahwa algoritma ini “dapat mendemokratisasi akses ke perangkat penemuan informasi yang canggih.”
Peringkat Dalam Konteks (ICR)
Makalah penelitian ini menguraikan terobosan penggunaan In-Context Ranking (ICR), suatu cara untuk memberi peringkat halaman web menggunakan kemampuan pemahaman kontekstual model bahasa yang besar.
Ini mendorong model dengan:
- Instruksi untuk tugas (misalnya, “beri peringkat halaman web ini”)
- Dokumen kandidat (halaman untuk diberi peringkat)
- Dan permintaan pencarian.
ICR adalah pendekatan yang relatif baru, pertama kali dieksplorasi oleh para peneliti dari Google DeepMind dan Google Research pada tahun 2024 ( Can Long-Context Language Models Subsume Retrieval, RAG, SQL, and More? PDF ). Studi sebelumnya menunjukkan bahwa ICR dapat menyamai kinerja sistem temu kembali yang dirancang khusus untuk pencarian.
Namun, peningkatan itu memiliki sisi buruk, yakni memerlukan peningkatan daya komputasi seiring bertambahnya jumlah halaman yang akan diperingkat.
Ketika model bahasa besar (LLM) membandingkan beberapa dokumen untuk menentukan dokumen mana yang paling relevan dengan suatu kueri, model tersebut harus “memperhatikan” setiap kata dalam setiap dokumen dan bagaimana setiap kata tersebut berhubungan dengan kata lainnya. Proses perhatian ini menjadi jauh lebih lambat seiring bertambahnya dokumen karena pekerjaan bertambah secara eksponensial.
Penelitian baru ini memecahkan masalah efisiensi tersebut, itulah sebabnya makalah penelitian ini disebut, Pemeringkatan Dalam Konteks yang Dapat Diskalakan dengan Model Generatif, karena menunjukkan cara menskalakan Pemeringkatan Dalam Konteks (ICR) dengan apa yang mereka sebut BlockRank.
Bagaimana BlockRank Dikembangkan
Para peneliti memeriksa bagaimana model sebenarnya menggunakan perhatian selama Pengambilan Dalam Konteks dan menemukan dua pola:
- Kelangkaan blok antar-dokumen:
Para peneliti menemukan bahwa ketika model membaca sekelompok dokumen, model cenderung berfokus pada setiap dokumen secara terpisah, alih-alih membandingkan semuanya. Mereka menyebutnya “kelangkaan blok”, yang berarti hanya ada sedikit perbandingan langsung antara berbagai dokumen. Berdasarkan pemahaman tersebut, mereka mengubah cara model membaca input sehingga meninjau setiap dokumen secara terpisah tetapi tetap membandingkan semuanya dengan pertanyaan yang diajukan. Hal ini mempertahankan bagian yang penting, mencocokkan dokumen dengan kueri, sekaligus melewatkan perbandingan antar-dokumen yang tidak perlu. Hasilnya adalah sistem yang berjalan jauh lebih cepat tanpa kehilangan akurasi. - Relevansi blok kueri-dokumen:
Ketika LLM membaca kueri, ia tidak memperlakukan setiap kata dalam pertanyaan tersebut sama pentingnya. Beberapa bagian pertanyaan, seperti kata kunci atau tanda baca tertentu yang menunjukkan maksud, membantu model memutuskan dokumen mana yang lebih membutuhkan perhatian. Para peneliti menemukan bahwa pola perhatian internal model, terutama bagaimana kata-kata tertentu dalam kueri berfokus pada dokumen tertentu, seringkali selaras dengan dokumen mana yang relevan. Perilaku ini, yang mereka sebut “relevansi blok kueri-dokumen”, menjadi sesuatu yang dapat dilatihkan oleh para peneliti agar model dapat menggunakannya secara lebih efektif.
Para peneliti mengidentifikasi kedua pola perhatian ini dan kemudian merancang pendekatan baru berdasarkan apa yang telah mereka pelajari. Pola pertama, kelangkaan blok antar-dokumen, mengungkapkan bahwa model tersebut membuang-buang komputasi dengan membandingkan dokumen satu sama lain padahal informasi tersebut tidak berguna. Pola kedua, relevansi blok kueri-dokumen, menunjukkan bahwa bagian-bagian tertentu dari sebuah pertanyaan sudah mengarah ke dokumen yang tepat.
Berdasarkan wawasan ini, mereka mendesain ulang cara model menangani atensi dan melatihnya. Hasilnya adalah BlockRank, bentuk Pengambilan Dalam Konteks yang lebih efisien yang mengurangi perbandingan yang tidak perlu dan mengajarkan model untuk berfokus pada hal yang benar-benar menunjukkan relevansi.
Akurasi Benchmarking BlockRank
Para peneliti menguji BlockRank untuk mengetahui seberapa baik peringkat dokumen pada tiga tolok ukur utama:
- BEIR
Kumpulan berbagai tugas pencarian dan tanya jawab yang digunakan untuk menguji seberapa baik suatu sistem dapat menemukan dan memberi peringkat informasi relevan di berbagai topik. - MS MARCO
Kumpulan data besar berisi kueri dan bagian pencarian Bing yang sebenarnya, digunakan untuk mengukur seberapa akurat suatu sistem dapat memberi peringkat bagian yang paling baik menjawab pertanyaan pengguna. - Pertanyaan Alami (NQ)
Tolok ukur yang dibangun dari pertanyaan pencarian Google yang sebenarnya, dirancang untuk menguji apakah suatu sistem dapat mengidentifikasi dan memberi peringkat bagian-bagian dari Wikipedia yang secara langsung menjawab pertanyaan-pertanyaan tersebut.
Mereka menggunakan Mistral LLM berparameter 7 miliar dan membandingkan BlockRank dengan model pemeringkatan kuat lainnya, termasuk FIRST, RankZephyr, RankVicuna, dan dasar Mistral yang disetel sepenuhnya.
BlockRank memiliki kinerja yang sama baiknya atau lebih baik daripada sistem tersebut pada ketiga tolok ukur, menyamai hasil pada MS MARCO dan Natural Questions dan sedikit lebih baik pada BEIR.
Para peneliti menjelaskan hasilnya:
Eksperimen pada MSMarco dan NQ menunjukkan BlockRank (Mistral-7B) menyamai atau melampaui efektivitas fine-tuning standar, sekaligus secara signifikan lebih efisien dalam inferensi dan pelatihan. Hal ini menawarkan pendekatan yang skalabel dan efektif untuk ICR berbasis LLM.
Mereka juga mengakui bahwa mereka tidak menguji beberapa LLM dan bahwa hasil ini khusus untuk Mistral 7B.
Apakah BlockRank Digunakan Oleh Google?
Makalah penelitian tidak menyebutkan apa pun tentang penggunaannya di lingkungan nyata. Jadi, hanya dugaan belaka untuk mengatakan bahwa kemungkinan penggunaannya masih belum jelas. Wajar juga untuk mencoba mengidentifikasi di mana BlockRank cocok dengan Mode AI atau Ikhtisar AI, tetapi deskripsi tentang cara kerja FastSearch dan RankEmbed Mode AI sangat berbeda dari cara kerja BlockRank. Jadi, kecil kemungkinan BlockRank terkait dengan FastSearch atau RankEmbed.
Mengapa BlockRank Merupakan Sebuah Terobosan
Apa yang dikatakan makalah penelitian itu adalah bahwa ini adalah teknologi terobosan yang menempatkan sistem pemeringkatan canggih dalam jangkauan individu dan organisasi yang biasanya tidak dapat memiliki teknologi pemeringkatan berkualitas tinggi semacam ini.
Para peneliti menjelaskan:
Metodologi BlockRank, dengan meningkatkan efisiensi dan skalabilitas Pengambilan Dalam Konteks (ICR) dalam Model Bahasa Besar (LLM), menjadikan pengambilan semantik tingkat lanjut lebih mudah diproses secara komputasional dan dapat mendemokratisasi akses ke perangkat penemuan informasi yang canggih. Hal ini dapat mempercepat penelitian, meningkatkan hasil pendidikan dengan menyediakan informasi yang lebih relevan secara cepat, dan memberdayakan individu serta organisasi dengan kemampuan pengambilan keputusan yang lebih baik.
Lebih jauh lagi, peningkatan efisiensi secara langsung berarti berkurangnya konsumsi energi untuk aplikasi LLM yang membutuhkan banyak pengambilan data, sehingga berkontribusi pada pengembangan dan penerapan AI yang lebih berkelanjutan bagi lingkungan.
Dengan mengaktifkan ICR yang efektif pada model yang berpotensi lebih kecil atau lebih optimal, BlockRank juga dapat memperluas jangkauan teknologi ini di lingkungan dengan sumber daya terbatas.”
Para SEO dan penerbit bebas berpendapat apakah ini bisa digunakan oleh Google atau tidak. Saya rasa tidak ada bukti yang mendukung, tetapi akan menarik untuk bertanya kepada Googler tentang hal ini.
Google tampaknya sedang dalam proses membuat BlockRank tersedia di GitHub , tetapi tampaknya belum ada kode yang tersedia di sana.
