TF-IDF Retriever oor 'n Doc Set
Routellings van oorwigtige algemene woorde: the verskyn oral en vertel jou niks oor 'n dokument nie. TF-IDF los dit op. Dit vermenigvuldig hoe gereeld 'n term in 'n dokument verskyn (term frequency) met hoe skaars daardie term oor die hele versameling is (inverse document frequency). Woorde wat gereeld in een dokument voorkom maar skaars oor die algemeen is, die woorde wat dit werklik onderskei, kry die hoogste gewig.
Stap jou dokumente se TF-IDF vektore in 'n matriks, verander die query na 'n TF-IDF vektor op dieselfde manier, en rangskik dokumente volgens cosine similarity tot by die query. Dit is 'n volledige retriever: die leksikale helfte van byna elke RAG-stelsel. scikit-learn gee vir jou albei dele:
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity
import numpy as np
vec = TfidfVectorizer()
doc_matrix = vec.fit_transform(docs) # fit vocab + idf on the docs
q_vec = vec.transform([query]) # SAME vocab for the query
sims = cosine_similarity(q_vec, doc_matrix)[0] # one score per docTwee besonderhede wat 'n werkende retriever van 'n gebreekte een skei:
- Roep
fit_transformop die dokumente maar nettransformop die query, sodat die query in die same woordeskat en idf-gewigte geprojekteer word. As jy die query apart pas, sal dit in 'n ander spasie wees en die punte sal betekenisloos wees. - Gee die top-k dokumentindekse terug, gesorteer volgens soortlikheid descending.
np.argsortsorteer opstygend, so sorteer die negatiewe tellinge:np.argsort(-sims).
Bou retrieve(query, docs, k) wat pas by 'n TfidfVectorizer op docs, tel die query teen elke dokument met cosine similarity, en gee die indekse van die top k dokumente terug as 'n lys van ints, met die mees soortgelyke eerste.
Skryf retrieve(query, docs, k) wat die indeksies van die k dokumente wat die meeste ooreenstem met die query teruggee. Pas 'n TfidfVectorizer op docs, transform die query met dieselfde vectorizer, tel elke dokument met cosine_similarity, en gee die top k dokumentindekse terug as 'n lys van ints in afhalvende ooreenstemmingsorde. 'n Query oor Python moet die Python dokument eerste teruggee; 'n query oor refunds moet die refund dokument eerste teruggee.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.