Silabus Pelajaran 149 dari 250 · Embeddings & Semantic Search dari Nol
Embeddings & Semantic Search dari Nol

Pencarian Hybrid: Reciprocal Rank Fusion + Reranking

BM25 (sparse, lexical) dan embedding cosine (dense, semantic) masing-masing menangkap apa yang terlewatkan oleh yang lain: BM25 tepat untuk istilah eksak dan kode langka, dense retrieval menangkap parafrase. Sistem produksi menjalankan both dan menggabungkan hasilnya. Masalahnya adalah skor mereka berada pada skala yang sangat berbeda, jadi kamu tidak bisa langsung menjumlahkannya. Solusi standarnya adalah menggabungkan berdasarkan rank, bukan skor.

Reciprocal Rank Fusion (RRF) melakukan hal itu. Setiap retriever memberimu daftar terurut dari document ids. Skor gabungan sebuah item adalah jumlah, di seluruh daftar, dari 1 / (k + rank), di mana rank adalah posisi 1-based item tersebut di daftar itu dan k adalah konstanta (60 adalah default umum yang memperkecil jarak antara peringkat 1 dan 2):

score(item) = sum over lists of  1 / (k + rank_in_that_list)

Item di dekat bagian atas dari kedua daftar mengumpulkan dua kontribusi besar dan menang. Item yang hanya ditemukan oleh satu retriever tetap mendapat kredit parsial. Lalu urutkan berdasarkan fused score secara menurun. Untuk determinisme saat dua item seri, pecah seri berdasarkan item id.

Tahap kedua adalah reranking. Fusion itu murah dan hanya perkiraan; sebuah cross-encoder membaca query dan kandidat secara bersamaan lalu menilai relevansinya secara langsung, yang jauh lebih akurat tapi terlalu lambat untuk dijalankan ke seluruh korpus. Jadi kamu melakukan fusion untuk mendapatkan daftar kandidat yang pendek, lalu melakukan rerank hanya pada beberapa kandidat itu dengan model yang mahal. Kita tidak bisa menjalankan cross-encoder sungguhan di sini (tidak ada model, tidak ada GPU), jadi kamu diberikan outputnya sebagai score table yang memetakan setiap kandidat ke skor relevansinya, dan kamu mengurutkannya kembali berdasarkan skor tersebut.

Sebagai konteks, panggilan reranker asli terlihat seperti ini (TIDAK digunakan dalam penilaian):

# a real cross-encoder, requires a model download and is NOT run here
from sentence_transformers import CrossEncoder
ce = CrossEncoder("cross-encoder/ms-marco-MiniLM-L-6-v2")
scores = ce.predict([(query, doc) for doc in candidates])

Buat dua fungsi. rrf(rank_lists, k=60) menerima daftar list id yang berperingkat dan mengembalikan id yang digabung yang diurutkan berdasarkan skor RRF secara menurun (seri diputuskan oleh id). rerank(candidates, score_table) mengembalikan kandidat yang diurutkan ulang berdasarkan skor mereka di score_table secara menurun (seri diputuskan oleh id).

Giliranku

Tulis dua fungsi. rrf(rank_lists, k=60) menggabungkan beberapa daftar id yang berperingkat: skor setiap item adalah jumlah dari daftar 1 / (k + rank) (peringkat adalah posisi berbasis 1), dan kamu mengembalikan item yang diurutkan berdasarkan skor gabungan secara menurun, jika seri diurutkan berdasarkan id item. rerank(candidates, score_table) mengembalikan candidates yang diurutkan ulang berdasarkan score_table[item] secara menurun, jika seri diurutkan berdasarkan id. Item yang peringkatnya tinggi di kedua daftar input harus menang dalam penggabungan; menggabungkan dua pasangan daftar yang berbeda harus memberikan urutan yang berbeda; rerank harus mengatur ulang berdasarkan tabel skor; dan menggabungkan satu daftar tunggal mengembalikannya tanpa perubahan.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.