BM25: ordinamento lessicale sparso
Il TF-IDF è un ottimo punto di partenza, ma la funzione di ordinamento che fa davvero girare i motori di ricerca e la metà lessicale del recupero ibrido moderno è il BM25. Tiene l'istinto del TF-IDF (i termini rari contano, i termini ripetuti contano) ma corregge due dei suoi difetti con manopole regolabili.
Per un termine della query in un documento, BM25 contribuisce con:
idf(term) * ( tf * (k1 + 1) ) / ( tf + k1 * (1 - b + b * dl / avgdl) )dove tf è quante volte il termine compare nel documento, dl è la lunghezza del documento, e avgdl è la lunghezza media dei documenti. Il punteggio del documento è la somma su tutti i termini della query. Tre pezzi fanno il lavoro:
- IDF con la levigatura del BM25:
idf = log(1 + (N - n + 0.5) / (n + 0.5)), doveNè il numero di documenti enè quanti documenti contengono il termine. Il+ 1gli impedisce di diventare negativo. - Saturazione della frequenza del termine tramite
k1(di default 1.5): la decima occorrenza di una parola aggiunge molto meno della seconda. Il TF-IDF grezzo cresce linearmente all'infinito; il BM25 si appiattisce. - Normalizzazione della lunghezza tramite
b(di default 0.75): ci si aspetta che un documento lungo contenga un termine più spesso solo perché è lungo, quindi il suo punteggio viene scontato. Due documenti con lo stessotfmettono più in alto quello più corto.
Un termine che non compare in nessun documento non contribuisce niente, e un documento a cui mancano tutti i termini della query ottiene esattamente 0.0. Quello zero regge un peso: è il modo in cui sai che un documento non è pertinente.
Lavorerai su documenti già divisi in token (liste di parole) così il centro è la matematica, non la tokenizzazione. Usa math.log (logaritmo naturale); la base scala solo tutti i punteggi per una costante e non cambia l'ordinamento.
Costruisci bm25_scores(query, corpus_tokens, k1=1.5, b=0.75) dove query è una lista di termini della query e corpus_tokens è una lista di documenti divisi in token. Restituisci una lista di punteggi BM25, uno per documento, nell'ordine del corpus.
Scrivi bm25_scores(query, corpus_tokens, k1=1.5, b=0.75) che implementa la funzione di ordinamento BM25. query è una lista di termini; corpus_tokens è una lista di documenti divisi in token (ognuno una lista di parole). Per ogni documento, somma sui termini unici della query: idf * tf * (k1 + 1) / (tf + k1 * (1 - b + b * dl / avgdl)), con idf = log(1 + (N - n + 0.5) / (n + 0.5)). Restituisci una lista di punteggi nell'ordine del corpus. Un documento con più occorrenze di un termine della query ottiene di più; un documento che non ne ha ottiene 0.0; a parità di frequenza del termine il documento più lungo ottiene di meno; due documenti identici ottengono lo stesso punteggio.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.