Programma Les 148 van 250 · Embeddings & Semantische Zoekopdracht vanaf het begin
Embeddings & Semantische Zoekopdracht vanaf het begin

BM25: Sparse Lexicale Ranking

TF-IDF is een goede basislijn, maar de ranking functie die zoekmachines en de lexicale helft van moderne hybride retrieval daadwerkelijk aandrijft is BM25. Het behoudt het TF-IDF instinct (zeldzame termen doen ertoe, herhaalde termen doen ertoe) maar verbetert twee van de gebreken met aanpasbare knoppen.

Voor een zoekterm in een document draagt BM25 bij:

idf(term) * ( tf * (k1 + 1) ) / ( tf + k1 * (1 - b + b * dl / avgdl) )

waarbij tf het aantal keren is dat de term in het document voorkomt, dl de documentlengte is, en avgdl de gemiddelde documentlengte is. De documentscore is de som over alle querytermen. Drie delen doen het werk:

  • IDF met de BM25 smoothing: idf = log(1 + (N - n + 0.5) / (n + 0.5)), waarbij N het aantal documenten is en n hoeveel documenten de term bevatten. De + 1 zorgt ervoor dat het niet negatief wordt.
  • Term-frequency verzadiging via k1 (standaard 1.5): de 10e keer dat een woord voorkomt voegt veel minder toe dan de 2e. Ruwe TF-IDF groeit lineair voor altijd; BM25 vlakt af.
  • Length normalization via b (default 0.75): een lang document wordt verwacht een term vaker te bevatten enkel omdat het lang is, dus wordt de score verlaagd. Twee documenten met dezelfde tf rangen de kortere hoger.

een term die voorkomt in no document draagt niets bij, en een document dat elke query term mist krijgt precies 0.0. Die nul is essentieel: zo weet je dat een document niet relevant is.

Je werkt met tokenized documenten (lijsten van woorden) zodat de wiskunde de focus is, niet de tokenisatie. Gebruik math.log (natuurlijke logaritme); de basis schaalt alle scores alleen met een constante en verandert de rangschikking niet.

Build bm25_scores(query, corpus_tokens, k1=1.5, b=0.75) waar query een lijst van zoektermen is en corpus_tokens een lijst van getokeniseerde documenten is. Geef een lijst van BM25 scores terug, één per document, in de volgorde van het corpus.

Jij bent aan de beurt

Schrijf bm25_scores(query, corpus_tokens, k1=1.5, b=0.75) voor de implementatie van de BM25 ranking functie. query is een lijst van termen; corpus_tokens is een lijst van getokeniseerde documenten (elk een lijst van woorden). Voor elk document tel je over de unieke query termen: idf * tf * (k1 + 1) / (tf + k1 * (1 - b + b * dl / avgdl)), met idf = log(1 + (N - n + 0.5) / (n + 0.5)). Geef een lijst met scores terug in corpus volgorde. Een document met meer voorkomens van een query term krijgt een hogere score; een document zonder krijgt 0.0; bij gelijke term frequentie krijgt het langere document een lagere score; twee identieke documenten krijgen een identieke score.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.