Lehrplan Lektion 147 von 250 · Embeddings & Semantische Suche von Grund auf
Embeddings & Semantische Suche von Grund auf

TF-IDF Retriever über einen Doc Set

Rohzahlen zählen häufige Wörter: the erscheint überall und sagt dir nichts über ein Dokument. TF-IDF behebt das. Es multipliziert wie oft ein Begriff in einem Dokument vorkommt (term frequency) mit wie selten dieser Begriff in der gesamten Sammlung ist (inverse document frequency). Wörter, die in einem Dokument häufig, aber insgesamt selten sind, also die Wörter, die es tatsächlich unterscheiden, erhalten das höchste Gewicht.

Stacke die TF-IDF-Vektoren deiner Dokumente in eine Matrix, wandle die Abfrage auf die gleiche Weise in einen TF-IDF-Vektor um und ordne die Dokumente nach der Cosinus-Ähnlichkeit zur Abfrage. Das ist ein vollständiger retriever: die lexikalische Hälfte fast jedes RAG-Systems. scikit-learn liefert dir beide Teile:

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity
import numpy as np

vec = TfidfVectorizer()
doc_matrix = vec.fit_transform(docs)        # fit vocab + idf on the docs
q_vec = vec.transform([query])              # SAME vocab for the query
sims = cosine_similarity(q_vec, doc_matrix)[0]   # one score per doc

Zwei Details, die einen funktionierenden Retriever von einem kaputten unterscheiden:

  • Call fit_transform auf den Dokumenten aber nur transform auf der Abfrage, sodass die Abfrage in das same Vokabular und die idf Gewichte projiziert wird. Die Abfrage separat anzupassen würde sie in einen anderen Raum setzen und die Scores wären bedeutungslos.
  • Gib die Top-k Dokumentindizes zurück, sortiert nach Ähnlichkeit absteigend. np.argsort sortiert aufsteigend, also sortiere die negierten Scores: np.argsort(-sims).

Build retrieve(query, docs, k), das zu einem TfidfVectorizer auf docs passt, den query gegen jedes Dokument mit cosine similarity bewertet und die Indizes der top k Dokumente als Liste von ints zurückgibt, am ähnlichsten zuerst.

Du bist dran

Schreibe retrieve(query, docs, k), das die Indizes der k Dokumente zurückgibt, die der Abfrage am ähnlichsten sind. Passe TfidfVectorizer auf docs an, transform die Abfrage mit demselben vectorizer, bewerte jedes Dokument mit cosine_similarity und gib die k obersten Dokumentindizes als Liste von ints in absteigender Ähnlichkeitsreihenfolge zurück. Eine Abfrage über Python sollte das Python Dokument zuerst zurückgeben; eine Abfrage über Rückerstattungen sollte das refund Dokument zuerst zurückgeben.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.