Programma Les 147 van 250 · Embeddings & Semantische Zoekopdracht vanaf het begin
Embeddings & Semantische Zoekopdracht vanaf het begin

TF-IDF Retriever over een Doc Set

Ruwe aantallen overschatten veelvoorkomende woorden: the komt overal voor en vertelt je niets over een document. TF-IDF lost dat op. Het vermenigvuldigt hoe vaak een term in een document voorkomt (term frequency) met hoe zeldzaam die term is over de hele collectie (inverse document frequency). Woorden die vaak voorkomen in één document maar zeldzaam zijn in totaal, de woorden die het document echt onderscheiden, krijgen het hoogste gewicht.

Stack de TF-IDF vectoren van je documenten in een matrix, zet de query op dezelfde manier om naar een TF-IDF vector, en rangschik documenten op basis van cosine similarity tot de query. Dat is een complete retriever: de lexicale helft van bijna elk RAG systeem. scikit-learn geeft je beide delen:

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity
import numpy as np

vec = TfidfVectorizer()
doc_matrix = vec.fit_transform(docs)        # fit vocab + idf on the docs
q_vec = vec.transform([query])              # SAME vocab for the query
sims = cosine_similarity(q_vec, doc_matrix)[0]   # one score per doc

Twee details die een werkende retriever onderscheiden van een kapotte:

  • Roep fit_transform aan op de documenten maar alleen transform op de query, zodat de query wordt geprojecteerd naar de same vocabulaire en idf gewichten. Het apart aanpassen van de query zou het in een andere ruimte plaatsen en de scores zouden zinloos zijn.
  • Geef de top-k document indices terug gesorteerd op gelijkenis descending. np.argsort sorteert oplopend, dus sorteer de genegueerde scores: np.argsort(-sims).

Build retrieve(query, docs, k) dat past bij een TfidfVectorizer op docs, scoort de query tegen elk document met cosine similarity, en geeft de indices van de top k documenten terug als een lijst van ints, het meest vergelijkbare eerst.

Jij bent aan de beurt

Schrijf retrieve(query, docs, k) dat de indices van de k documenten retourneert die het meest lijken op de query. Fit een TfidfVectorizer op docs, transform de query met dezelfde vectorizer, score elk document met cosine_similarity, en retourneer de top k document indices als een lijst van ints in aflopende volgorde van gelijkenis. Een query over Python moet het Python document eerst retourneren; een query over refunds moet het refund document eerst retourneren.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.