BM25: Seyrek Sözcüksel Sıralama
TF-IDF harika bir temel çizgidir, ama arama motorlarına ve modern hibrit erişimin sözcüksel yarısına gerçekten güç veren sıralama fonksiyonu BM25'tir. TF-IDF sezgisini korur (nadir terimler önemli, tekrarlanan terimler önemli) ama iki kusurunu ayarlanabilir düğmelerle düzeltir.
Bir belgedeki bir sorgu terimi için BM25 şunu katar:
idf(term) * ( tf * (k1 + 1) ) / ( tf + k1 * (1 - b + b * dl / avgdl) )burada tf terimin belgede kaç kez geçtiği, dl belgenin uzunluğu, ve avgdl ortalama belge uzunluğudur. Belge puanı bütün sorgu terimleri üzerinden toplamdır. İşi üç parça yapar:
- BM25 yumuşatmasıyla IDF:
idf = log(1 + (N - n + 0.5) / (n + 0.5)), buradaNbelge sayısı venterimi içeren belge sayısıdır.+ 1onun negatife gitmesini engeller. k1ile terim sıklığı doygunluğu (varsayılan 1.5): bir kelimenin 10. geçişi 2.'sinden çok daha az ekler. Ham TF-IDF sonsuza kadar doğrusal büyür; BM25 düzleşir.bile uzunluk normalleştirmesi (varsayılan 0.75): uzun bir belgenin yalnızca uzun olduğu için bir terimi daha sık içermesi beklenir, bu yüzden puanı indirilir. Aynıtf'ye sahip iki belgeden kısa olanı daha üstte sıralanır.
Hiçbir belgede geçmeyen bir terim hiçbir şey katmaz, ve her sorgu terimini kaçıran bir belge tam olarak 0.0 alır. O sıfır yük taşır: bir belgenin ilgisiz olduğunu böyle bilirsin.
Matematik odakta olsun, token'lara ayırma değil diye token'lara ayrılmış belgeler (kelime listeleri) üzerinde çalışacaksın. math.log (doğal logaritma) kullan; taban yalnızca bütün puanları bir sabitle ölçekler ve sıralamayı değiştirmez.
query'nin bir sorgu terimleri listesi ve corpus_tokens'ın token'lara ayrılmış belgeler listesi olduğu bm25_scores(query, corpus_tokens, k1=1.5, b=0.75)'i kur. Derlem sırasına göre, belge başına bir tane olmak üzere BM25 puanlarının listesini döndür.
BM25 sıralama fonksiyonunu uygulayan bm25_scores(query, corpus_tokens, k1=1.5, b=0.75) yaz. query terimler listesidir; corpus_tokens ise token haline getirilmiş belgeler listesidir (her biri kelimelerden oluşan bir listedir). Her belge için benzersiz sorgu terimleri üzerinde idf * tf * (k1 + 1) / (tf + k1 * (1 - b + b * dl / avgdl)), idf = log(1 + (N - n + 0.5) / (n + 0.5)) ile topla. Skor listesini corpus sırasıyla döndür. Bir sorgu terimi daha fazla geçen belge daha yüksek skor alır; hiç geçmeyen belge 0.0 skor alır; eşit terim sıklığında daha uzun belge daha düşük skor alır; iki özdeş belge aynı skoru alır.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.