Programma Lezione 147 di 250 · Embedding e ricerca semantica da zero
Embedding e ricerca semantica da zero

Un recuperatore TF-IDF su un insieme di documenti

I conteggi grezzi danno troppo peso alle parole comuni: the compare ovunque e non ti dice niente su un documento. Il TF-IDF risolve il problema. Moltiplica quanto spesso un termine compare in un documento (frequenza del termine, term frequency) per quanto è raro quel termine in tutta la raccolta (frequenza inversa del documento, inverse document frequency). Le parole frequenti in un documento ma rare in generale, quelle che lo distinguono davvero, ricevono il peso più alto.

Impila i vettori TF-IDF dei tuoi documenti in una matrice, trasforma la query in un vettore TF-IDF allo stesso modo, e ordina i documenti per similarità del coseno con la query. È un recuperatore (retriever) completo: la metà lessicale di quasi ogni sistema RAG. scikit-learn ti dà entrambi i pezzi:

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity
import numpy as np

vec = TfidfVectorizer()
doc_matrix = vec.fit_transform(docs)        # fit vocab + idf on the docs
q_vec = vec.transform([query])              # SAME vocab for the query
sims = cosine_similarity(q_vec, doc_matrix)[0]   # one score per doc

Due dettagli che separano un recuperatore che funziona da uno rotto:

  • Chiama fit_transform sui documenti ma solo transform sulla query, così la query viene proiettata nello stesso vocabolario e con gli stessi pesi idf. Addestrare la query a parte la metterebbe in uno spazio diverso e i punteggi non avrebbero senso.
  • Restituisci gli indici dei primi k documenti ordinati per similarità decrescente. np.argsort ordina in modo crescente, quindi ordina i punteggi cambiati di segno: np.argsort(-sims).

Costruisci retrieve(query, docs, k) che addestra un TfidfVectorizer su docs, dà un punteggio alla query rispetto a ogni documento con la similarità del coseno, e restituisce gli indici dei primi k documenti come lista di int, dal più simile.

Tocca a te

Scrivi retrieve(query, docs, k) che restituisce gli indici dei k documenti più simili alla query. Addestra un TfidfVectorizer su docs, fai transform della query con lo stesso vettorizzatore, dai un punteggio a ogni documento con cosine_similarity, e restituisci gli indici dei primi k documenti come lista di int in ordine di similarità decrescente. Una query su Python dovrebbe restituire per primo il documento su Python; una query sui rimborsi dovrebbe restituire per primo il documento sui rimborsi.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.