BM25: Skaars Leksikale Rangskikking
TF-IDF is 'n goeie basis, maar die ranking-funksie wat werklik soekmasjiene en die leksikale helfte van moderne hybride-herwinning aandryf, is BM25. Dit behou die TF-IDF-instink (skaars terme tel, herhaalde terme tel) maar regstel twee van sy foute met aanpasbare knoppies.
Vir 'n query term in 'n dokument, dra BM25 by:
idf(term) * ( tf * (k1 + 1) ) / ( tf + k1 * (1 - b + b * dl / avgdl) ) waar tf is hoeveel keer die term in die dokument verskyn, dl is die dokumentlengte, en avgdl is die gemiddelde dokumentlengte. Die dokumenttelling is die som oor alle query terme. Drie dele doen die werk:
- IDF met die BM25-gladding:
idf = log(1 + (N - n + 0.5) / (n + 0.5)), waarNdie aantal dokumente is ennhoeveel dokumente die term bevat. Die+ 1keer dat dit negatief word. - Term-frequency versatiging via
k1(default 1.5): die 10de voorkoms van 'n woord voeg baie minder by as die 2de. Raw TF-IDF groei lineêer vir ewig; BM25 vlakt af. - Lengtenormalisering via
b(aanbod 0.75): 'n lang dokument word verwag om 'n term meer gereeld te bevat bloot omdat dit lank is, so sy telling word verlaag. Twee dokumente met dieselfdetfrang die korter een hoër.
term wat in 'n no dokument verskyn, dra niks by, en 'n dokument wat elke query term kort, kry presies 0.0. Daardie nul is belangrik: dit is hoe jy weet 'n dokument is irrelevant.
Jy gaan oor tokenized dokumente (lyste van woorde) werk sodat die wiskunde die fokus is, nie tokenisering nie. Gebruik math.log (natuurlike logaritme); die basis skaal net alle tellinge met 'n konstante en verander nie die rangskikking nie.
Bou bm25_scores(query, corpus_tokens, k1=1.5, b=0.75) waar query 'n lys van navrae is en corpus_tokens 'n lys van getokeniseerde dokumente is. Gee 'n lys van BM25-skale terug, een per dokument, in korpusvolgorde.
Skryf bm25_scores(query, corpus_tokens, k1=1.5, b=0.75) om die BM25 ranking-funksie te implementeer. query is 'n lys van terme; corpus_tokens is 'n lys van getokeniseerde dokumente (elkeen 'n lys van woorde). Som vir elke dokument oor die unieke query-terme: idf * tf * (k1 + 1) / (tf + k1 * (1 - b + b * dl / avgdl)), met idf = log(1 + (N - n + 0.5) / (n + 0.5)). Gee 'n lys van punte in korpusorde terug. 'n Dokument met meer voorkoms van 'n query-term kry 'n hoër punt; 'n dokument met geen kry 0.0; met gelyke termfrekwensie kry die langer dokument 'n laer punt; twee identiese dokumente kry identiese punte.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.