Müfredat 250 dersinden 148. · Sıfırdan Embeddings ve Semantik Arama
Sıfırdan Embeddings ve Semantik Arama

BM25: Seyrek Sözcüksel Sıralama

TF-IDF harika bir temel çizgidir, ama arama motorlarına ve modern hibrit erişimin sözcüksel yarısına gerçekten güç veren sıralama fonksiyonu BM25'tir. TF-IDF sezgisini korur (nadir terimler önemli, tekrarlanan terimler önemli) ama iki kusurunu ayarlanabilir düğmelerle düzeltir.

Bir belgedeki bir sorgu terimi için BM25 şunu katar:

idf(term) * ( tf * (k1 + 1) ) / ( tf + k1 * (1 - b + b * dl / avgdl) )

burada tf terimin belgede kaç kez geçtiği, dl belgenin uzunluğu, ve avgdl ortalama belge uzunluğudur. Belge puanı bütün sorgu terimleri üzerinden toplamdır. İşi üç parça yapar:

  • BM25 yumuşatmasıyla IDF: idf = log(1 + (N - n + 0.5) / (n + 0.5)), burada N belge sayısı ve n terimi içeren belge sayısıdır. + 1 onun negatife gitmesini engeller.
  • k1 ile terim sıklığı doygunluğu (varsayılan 1.5): bir kelimenin 10. geçişi 2.'sinden çok daha az ekler. Ham TF-IDF sonsuza kadar doğrusal büyür; BM25 düzleşir.
  • b ile uzunluk normalleştirmesi (varsayılan 0.75): uzun bir belgenin yalnızca uzun olduğu için bir terimi daha sık içermesi beklenir, bu yüzden puanı indirilir. Aynı tf'ye sahip iki belgeden kısa olanı daha üstte sıralanır.

Hiçbir belgede geçmeyen bir terim hiçbir şey katmaz, ve her sorgu terimini kaçıran bir belge tam olarak 0.0 alır. O sıfır yük taşır: bir belgenin ilgisiz olduğunu böyle bilirsin.

Matematik odakta olsun, token'lara ayırma değil diye token'lara ayrılmış belgeler (kelime listeleri) üzerinde çalışacaksın. math.log (doğal logaritma) kullan; taban yalnızca bütün puanları bir sabitle ölçekler ve sıralamayı değiştirmez.

query'nin bir sorgu terimleri listesi ve corpus_tokens'ın token'lara ayrılmış belgeler listesi olduğu bm25_scores(query, corpus_tokens, k1=1.5, b=0.75)'i kur. Derlem sırasına göre, belge başına bir tane olmak üzere BM25 puanlarının listesini döndür.

Senin sıran

BM25 sıralama fonksiyonunu uygulayan bm25_scores(query, corpus_tokens, k1=1.5, b=0.75) yaz. query terimler listesidir; corpus_tokens ise token haline getirilmiş belgeler listesidir (her biri kelimelerden oluşan bir listedir). Her belge için benzersiz sorgu terimleri üzerinde idf * tf * (k1 + 1) / (tf + k1 * (1 - b + b * dl / avgdl)), idf = log(1 + (N - n + 0.5) / (n + 0.5)) ile topla. Skor listesini corpus sırasıyla döndür. Bir sorgu terimi daha fazla geçen belge daha yüksek skor alır; hiç geçmeyen belge 0.0 skor alır; eşit terim sıklığında daha uzun belge daha düşük skor alır; iki özdeş belge aynı skoru alır.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.