Kurrikulum Leson 147 van 250 · Embeddings en Semantiese Soek vanaf die begin
Embeddings en Semantiese Soek vanaf die begin

TF-IDF Retriever oor 'n Doc Set

Routellings van oorwigtige algemene woorde: the verskyn oral en vertel jou niks oor 'n dokument nie. TF-IDF los dit op. Dit vermenigvuldig hoe gereeld 'n term in 'n dokument verskyn (term frequency) met hoe skaars daardie term oor die hele versameling is (inverse document frequency). Woorde wat gereeld in een dokument voorkom maar skaars oor die algemeen is, die woorde wat dit werklik onderskei, kry die hoogste gewig.

Stap jou dokumente se TF-IDF vektore in 'n matriks, verander die query na 'n TF-IDF vektor op dieselfde manier, en rangskik dokumente volgens cosine similarity tot by die query. Dit is 'n volledige retriever: die leksikale helfte van byna elke RAG-stelsel. scikit-learn gee vir jou albei dele:

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity
import numpy as np

vec = TfidfVectorizer()
doc_matrix = vec.fit_transform(docs)        # fit vocab + idf on the docs
q_vec = vec.transform([query])              # SAME vocab for the query
sims = cosine_similarity(q_vec, doc_matrix)[0]   # one score per doc

Twee besonderhede wat 'n werkende retriever van 'n gebreekte een skei:

  • Roep fit_transform op die dokumente maar net transform op die query, sodat die query in die same woordeskat en idf-gewigte geprojekteer word. As jy die query apart pas, sal dit in 'n ander spasie wees en die punte sal betekenisloos wees.
  • Gee die top-k dokumentindekse terug, gesorteer volgens soortlikheid descending. np.argsort sorteer opstygend, so sorteer die negatiewe tellinge: np.argsort(-sims).

Bou retrieve(query, docs, k) wat pas by 'n TfidfVectorizer op docs, tel die query teen elke dokument met cosine similarity, en gee die indekse van die top k dokumente terug as 'n lys van ints, met die mees soortgelyke eerste.

Jou beurt

Skryf retrieve(query, docs, k) wat die indeksies van die k dokumente wat die meeste ooreenstem met die query teruggee. Pas 'n TfidfVectorizer op docs, transform die query met dieselfde vectorizer, tel elke dokument met cosine_similarity, en gee die top k dokumentindekse terug as 'n lys van ints in afhalvende ooreenstemmingsorde. 'n Query oor Python moet die Python dokument eerste teruggee; 'n query oor refunds moet die refund dokument eerste teruggee.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.