Kurrikulum Leson 148 van 250 · Embeddings en Semantiese Soek vanaf die begin
Embeddings en Semantiese Soek vanaf die begin

BM25: Skaars Leksikale Rangskikking

TF-IDF is 'n goeie basis, maar die ranking-funksie wat werklik soekmasjiene en die leksikale helfte van moderne hybride-herwinning aandryf, is BM25. Dit behou die TF-IDF-instink (skaars terme tel, herhaalde terme tel) maar regstel twee van sy foute met aanpasbare knoppies.

Vir 'n query term in 'n dokument, dra BM25 by:

idf(term) * ( tf * (k1 + 1) ) / ( tf + k1 * (1 - b + b * dl / avgdl) )

waar tf is hoeveel keer die term in die dokument verskyn, dl is die dokumentlengte, en avgdl is die gemiddelde dokumentlengte. Die dokumenttelling is die som oor alle query terme. Drie dele doen die werk:

  • IDF met die BM25-gladding: idf = log(1 + (N - n + 0.5) / (n + 0.5)), waar N die aantal dokumente is en n hoeveel dokumente die term bevat. Die + 1 keer dat dit negatief word.
  • Term-frequency versatiging via k1 (default 1.5): die 10de voorkoms van 'n woord voeg baie minder by as die 2de. Raw TF-IDF groei lineêer vir ewig; BM25 vlakt af.
  • Lengtenormalisering via b (aanbod 0.75): 'n lang dokument word verwag om 'n term meer gereeld te bevat bloot omdat dit lank is, so sy telling word verlaag. Twee dokumente met dieselfde tf rang die korter een hoër.
'n

term wat in 'n no dokument verskyn, dra niks by, en 'n dokument wat elke query term kort, kry presies 0.0. Daardie nul is belangrik: dit is hoe jy weet 'n dokument is irrelevant.

Jy gaan oor tokenized dokumente (lyste van woorde) werk sodat die wiskunde die fokus is, nie tokenisering nie. Gebruik math.log (natuurlike logaritme); die basis skaal net alle tellinge met 'n konstante en verander nie die rangskikking nie.

Bou bm25_scores(query, corpus_tokens, k1=1.5, b=0.75) waar query 'n lys van navrae is en corpus_tokens 'n lys van getokeniseerde dokumente is. Gee 'n lys van BM25-skale terug, een per dokument, in korpusvolgorde.

Jou beurt

Skryf bm25_scores(query, corpus_tokens, k1=1.5, b=0.75) om die BM25 ranking-funksie te implementeer. query is 'n lys van terme; corpus_tokens is 'n lys van getokeniseerde dokumente (elkeen 'n lys van woorde). Som vir elke dokument oor die unieke query-terme: idf * tf * (k1 + 1) / (tf + k1 * (1 - b + b * dl / avgdl)), met idf = log(1 + (N - n + 0.5) / (n + 0.5)). Gee 'n lys van punte in korpusorde terug. 'n Dokument met meer voorkoms van 'n query-term kry 'n hoër punt; 'n dokument met geen kry 0.0; met gelyke termfrekwensie kry die langer dokument 'n laer punt; twee identiese dokumente kry identiese punte.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.