BM25: Sparse Lexicale Ranking
TF-IDF is een goede basislijn, maar de ranking functie die zoekmachines en de lexicale helft van moderne hybride retrieval daadwerkelijk aandrijft is BM25. Het behoudt het TF-IDF instinct (zeldzame termen doen ertoe, herhaalde termen doen ertoe) maar verbetert twee van de gebreken met aanpasbare knoppen.
Voor een zoekterm in een document draagt BM25 bij:
idf(term) * ( tf * (k1 + 1) ) / ( tf + k1 * (1 - b + b * dl / avgdl) )waarbij tf het aantal keren is dat de term in het document voorkomt, dl de documentlengte is, en avgdl de gemiddelde documentlengte is. De documentscore is de som over alle querytermen. Drie delen doen het werk:
- IDF met de BM25 smoothing:
idf = log(1 + (N - n + 0.5) / (n + 0.5)), waarbijNhet aantal documenten is ennhoeveel documenten de term bevatten. De+ 1zorgt ervoor dat het niet negatief wordt. - Term-frequency verzadiging via
k1(standaard 1.5): de 10e keer dat een woord voorkomt voegt veel minder toe dan de 2e. Ruwe TF-IDF groeit lineair voor altijd; BM25 vlakt af. - Length normalization via
b(default 0.75): een lang document wordt verwacht een term vaker te bevatten enkel omdat het lang is, dus wordt de score verlaagd. Twee documenten met dezelfdetfrangen de kortere hoger.
een term die voorkomt in no document draagt niets bij, en een document dat elke query term mist krijgt precies 0.0. Die nul is essentieel: zo weet je dat een document niet relevant is.
Je werkt met tokenized documenten (lijsten van woorden) zodat de wiskunde de focus is, niet de tokenisatie. Gebruik math.log (natuurlijke logaritme); de basis schaalt alle scores alleen met een constante en verandert de rangschikking niet.
Build bm25_scores(query, corpus_tokens, k1=1.5, b=0.75) waar query een lijst van zoektermen is en corpus_tokens een lijst van getokeniseerde documenten is. Geef een lijst van BM25 scores terug, één per document, in de volgorde van het corpus.
Schrijf bm25_scores(query, corpus_tokens, k1=1.5, b=0.75) voor de implementatie van de BM25 ranking functie. query is een lijst van termen; corpus_tokens is een lijst van getokeniseerde documenten (elk een lijst van woorden). Voor elk document tel je over de unieke query termen: idf * tf * (k1 + 1) / (tf + k1 * (1 - b + b * dl / avgdl)), met idf = log(1 + (N - n + 0.5) / (n + 0.5)). Geef een lijst met scores terug in corpus volgorde. Een document met meer voorkomens van een query term krijgt een hogere score; een document zonder krijgt 0.0; bij gelijke term frequentie krijgt het langere document een lagere score; twee identieke documenten krijgen een identieke score.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.