Programma Lezione 148 di 250 · Embedding e ricerca semantica da zero
Embedding e ricerca semantica da zero

BM25: ordinamento lessicale sparso

Il TF-IDF è un ottimo punto di partenza, ma la funzione di ordinamento che fa davvero girare i motori di ricerca e la metà lessicale del recupero ibrido moderno è il BM25. Tiene l'istinto del TF-IDF (i termini rari contano, i termini ripetuti contano) ma corregge due dei suoi difetti con manopole regolabili.

Per un termine della query in un documento, BM25 contribuisce con:

idf(term) * ( tf * (k1 + 1) ) / ( tf + k1 * (1 - b + b * dl / avgdl) )

dove tf è quante volte il termine compare nel documento, dl è la lunghezza del documento, e avgdl è la lunghezza media dei documenti. Il punteggio del documento è la somma su tutti i termini della query. Tre pezzi fanno il lavoro:

  • IDF con la levigatura del BM25: idf = log(1 + (N - n + 0.5) / (n + 0.5)), dove N è il numero di documenti e n è quanti documenti contengono il termine. Il + 1 gli impedisce di diventare negativo.
  • Saturazione della frequenza del termine tramite k1 (di default 1.5): la decima occorrenza di una parola aggiunge molto meno della seconda. Il TF-IDF grezzo cresce linearmente all'infinito; il BM25 si appiattisce.
  • Normalizzazione della lunghezza tramite b (di default 0.75): ci si aspetta che un documento lungo contenga un termine più spesso solo perché è lungo, quindi il suo punteggio viene scontato. Due documenti con lo stesso tf mettono più in alto quello più corto.

Un termine che non compare in nessun documento non contribuisce niente, e un documento a cui mancano tutti i termini della query ottiene esattamente 0.0. Quello zero regge un peso: è il modo in cui sai che un documento non è pertinente.

Lavorerai su documenti già divisi in token (liste di parole) così il centro è la matematica, non la tokenizzazione. Usa math.log (logaritmo naturale); la base scala solo tutti i punteggi per una costante e non cambia l'ordinamento.

Costruisci bm25_scores(query, corpus_tokens, k1=1.5, b=0.75) dove query è una lista di termini della query e corpus_tokens è una lista di documenti divisi in token. Restituisci una lista di punteggi BM25, uno per documento, nell'ordine del corpus.

Tocca a te

Scrivi bm25_scores(query, corpus_tokens, k1=1.5, b=0.75) che implementa la funzione di ordinamento BM25. query è una lista di termini; corpus_tokens è una lista di documenti divisi in token (ognuno una lista di parole). Per ogni documento, somma sui termini unici della query: idf * tf * (k1 + 1) / (tf + k1 * (1 - b + b * dl / avgdl)), con idf = log(1 + (N - n + 0.5) / (n + 0.5)). Restituisci una lista di punteggi nell'ordine del corpus. Un documento con più occorrenze di un termine della query ottiene di più; un documento che non ne ha ottiene 0.0; a parità di frequenza del termine il documento più lungo ottiene di meno; due documenti identici ottengono lo stesso punteggio.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.