BM25: Pemeringkatan Leksikal Jarang
TF-IDF itu dasar yang bagus, tapi fungsi ranking yang benar-benar menggerakkan mesin pencari dan bagian leksikal dari retrieval hybrid modern adalah BM25. Ini tetap menjaga insting TF-IDF (istilah langka itu penting, istilah berulang itu penting) tapi memperbaiki dua kelemahannya dengan tombol yang bisa diatur.
Untuk istilah kueri dalam sebuah dokumen, BM25 berkontribusi:
idf(term) * ( tf * (k1 + 1) ) / ( tf + k1 * (1 - b + b * dl / avgdl) ) di mana tf adalah berapa kali istilah muncul di dokumen, dl adalah panjang dokumen, dan avgdl adalah rata-rata panjang dokumen. Skor dokumen adalah jumlah dari semua istilah kueri. Tiga bagian melakukan pekerjaannya:
- IDF dengan smoothing BM25:
idf = log(1 + (N - n + 0.5) / (n + 0.5)), di manaNadalah jumlah dokumen dannadalah berapa banyak dokumen yang mengandung istilah tersebut.+ 1menjaganya agar tidak menjadi negatif. - Saturasi Term-frequency melalui
k1(default 1.5): kemunculan ke-10 sebuah kata menambah jauh lebih sedikit daripada yang ke-2. Raw TF-IDF tumbuh linear selamanya; BM25 mendatar. - Normalisasi panjang melalui
b(default 0.75): dokumen panjang diharapkan mengandung suatu istilah lebih sering hanya karena panjangnya, jadi skornya dikurangi. Dua dokumen dengantfyang sama akan menempatkan dokumen yang lebih pendek lebih tinggi.
istilah yang muncul di no tidak memberikan kontribusi apa pun, dan dokumen yang tidak memiliki semua istilah kueri mendapat skor tepat 0.0. Nol tersebut sangat penting: itu adalah cara kamu mengetahui bahwa sebuah dokumen tidak relevan.
Kamu akan bekerja dengan dokumen tokenized (daftar kata) jadi fokusnya adalah matematika, bukan tokenisasi. Gunakan math.log (logaritma natural); basisnya hanya menskalakan semua skor dengan konstanta dan tidak mengubah peringkat.
Build bm25_scores(query, corpus_tokens, k1=1.5, b=0.75) di mana query adalah daftar istilah kueri dan corpus_tokens adalah daftar dokumen yang sudah ditokenisasi. Kembalikan daftar skor BM25, satu untuk setiap dokumen, sesuai urutan korpus.
Tulis bm25_scores(query, corpus_tokens, k1=1.5, b=0.75) untuk mengimplementasikan fungsi ranking BM25. query adalah daftar istilah; corpus_tokens adalah daftar dokumen yang sudah ditokenisasi (masing-masing adalah daftar kata). Untuk setiap dokumen, jumlahkan istilah kueri yang unik: idf * tf * (k1 + 1) / (tf + k1 * (1 - b + b * dl / avgdl)), dengan idf = log(1 + (N - n + 0.5) / (n + 0.5)). Kembalikan daftar skor sesuai urutan korpus. Dokumen dengan lebih banyak kemunculan istilah kueri mendapat skor lebih tinggi; dokumen tanpa istilah kueri mendapat skor 0.0; dengan frekuensi istilah yang sama, dokumen yang lebih panjang mendapat skor lebih rendah; dua dokumen yang identik mendapat skor yang sama.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.