Lehrplan Lektion 148 von 250 · Embeddings & Semantische Suche von Grund auf
Embeddings & Semantische Suche von Grund auf

BM25: Sparses lexikalisches Ranking

TF-IDF ist ein guter Referenzwert, aber die ranking function, die Suchmaschinen und den lexikalischen Teil des modernen hybrid retrieval tatsächlich antreibt, ist BM25. Sie behält den TF-IDF Instinkt (seltene Begriffe zählen, wiederholte Begriffe zählen) bei, aber behebt zwei ihrer Fehler mit einstellbaren Knöpfen.

Für einen Suchbegriff in einem Dokument trägt BM25 bei:

idf(term) * ( tf * (k1 + 1) ) / ( tf + k1 * (1 - b + b * dl / avgdl) )

, wobei tf die Anzahl der Vorkommen des Begriffs im Dokument ist, dl die Dokumentlänge ist und avgdl die durchschnittliche Dokumentlänge ist. Der Dokumentwert ist die Summe über alle Abfragebegriffe. Drei Teile erledigen die Arbeit:

  • IDF mit der BM25-Glättung: idf = log(1 + (N - n + 0.5) / (n + 0.5)), wobei N die Anzahl der Dokumente ist und n angibt, wie viele Dokumente den Begriff enthalten. + 1 verhindert, dass es negativ wird.
  • Term-frequency-Sättigung über k1 (Standard 1.5): Das 10. Vorkommen eines Wortes fügt viel weniger hinzu als das 2. Roher TF-IDF wächst linear ewig; BM25 flacht ab.
  • Längennormalisierung über b (Standard 0.75): Ein langes Dokument wird erwartet, einen Begriff öfter zu enthalten, nur weil es lang ist, also wird sein Score reduziert. Zwei Dokumente mit demselben tf bewerten das kürzere höher.

Ein Begriff, der in no Dokument erscheint, trägt nichts bei, und ein Dokument, dem jeder Abfrageschlüssel fehlt, erhält genau 0.0. Diese Null ist tragend: so weißt du, dass ein Dokument irrelevant ist.

Du wirst mit tokenized Dokumenten (Listen von Wörtern) arbeiten, damit die Mathematik im Fokus steht und nicht die Tokenisierung. Nutze math.log (natürlicher Logarithmus); die Basis skaliert nur alle Werte um eine Konstante und ändert das Ranking nicht.

Build bm25_scores(query, corpus_tokens, k1=1.5, b=0.75) wo query eine Liste von Abfrageschlüsseln ist und corpus_tokens eine Liste von tokenisierten Dokumenten ist. Gib eine Liste von BM25 scores zurück, einen pro Dokument, in der Reihenfolge des Korpus.

Du bist dran

Schreibe bm25_scores(query, corpus_tokens, k1=1.5, b=0.75) und implementiere die BM25 ranking function. query ist eine list von Begriffen; corpus_tokens ist eine list von tokenisierten documents (jedes eine list von words). Summiere für jedes document über die eindeutigen query terms: idf * tf * (k1 + 1) / (tf + k1 * (1 - b + b * dl / avgdl)), mit idf = log(1 + (N - n + 0.5) / (n + 0.5)). Gib eine list von scores in corpus order zurück. Ein document mit mehr occurrences eines query terms bekommt einen höheren score; ein document ohne bekommt 0.0; bei gleicher term frequency bekommt das längere document einen niedrigeren score; zwei identische documents bekommen identische scores.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.