TF-IDF Retriever over een Doc Set
Ruwe aantallen overschatten veelvoorkomende woorden: the komt overal voor en vertelt je niets over een document. TF-IDF lost dat op. Het vermenigvuldigt hoe vaak een term in een document voorkomt (term frequency) met hoe zeldzaam die term is over de hele collectie (inverse document frequency). Woorden die vaak voorkomen in één document maar zeldzaam zijn in totaal, de woorden die het document echt onderscheiden, krijgen het hoogste gewicht.
Stack de TF-IDF vectoren van je documenten in een matrix, zet de query op dezelfde manier om naar een TF-IDF vector, en rangschik documenten op basis van cosine similarity tot de query. Dat is een complete retriever: de lexicale helft van bijna elk RAG systeem. scikit-learn geeft je beide delen:
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity
import numpy as np
vec = TfidfVectorizer()
doc_matrix = vec.fit_transform(docs) # fit vocab + idf on the docs
q_vec = vec.transform([query]) # SAME vocab for the query
sims = cosine_similarity(q_vec, doc_matrix)[0] # one score per docTwee details die een werkende retriever onderscheiden van een kapotte:
- Roep
fit_transformaan op de documenten maar alleentransformop de query, zodat de query wordt geprojecteerd naar de same vocabulaire en idf gewichten. Het apart aanpassen van de query zou het in een andere ruimte plaatsen en de scores zouden zinloos zijn. - Geef de top-k document indices terug gesorteerd op gelijkenis descending.
np.argsortsorteert oplopend, dus sorteer de genegueerde scores:np.argsort(-sims).
Build retrieve(query, docs, k) dat past bij een TfidfVectorizer op docs, scoort de query tegen elk document met cosine similarity, en geeft de indices van de top k documenten terug als een lijst van ints, het meest vergelijkbare eerst.
Schrijf retrieve(query, docs, k) dat de indices van de k documenten retourneert die het meest lijken op de query. Fit een TfidfVectorizer op docs, transform de query met dezelfde vectorizer, score elk document met cosine_similarity, en retourneer de top k document indices als een lijst van ints in aflopende volgorde van gelijkenis. Een query over Python moet het Python document eerst retourneren; een query over refunds moet het refund document eerst retourneren.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.