TF-IDF Retriever über einen Doc Set
Rohzahlen zählen häufige Wörter: the erscheint überall und sagt dir nichts über ein Dokument. TF-IDF behebt das. Es multipliziert wie oft ein Begriff in einem Dokument vorkommt (term frequency) mit wie selten dieser Begriff in der gesamten Sammlung ist (inverse document frequency). Wörter, die in einem Dokument häufig, aber insgesamt selten sind, also die Wörter, die es tatsächlich unterscheiden, erhalten das höchste Gewicht.
Stacke die TF-IDF-Vektoren deiner Dokumente in eine Matrix, wandle die Abfrage auf die gleiche Weise in einen TF-IDF-Vektor um und ordne die Dokumente nach der Cosinus-Ähnlichkeit zur Abfrage. Das ist ein vollständiger retriever: die lexikalische Hälfte fast jedes RAG-Systems. scikit-learn liefert dir beide Teile:
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity
import numpy as np
vec = TfidfVectorizer()
doc_matrix = vec.fit_transform(docs) # fit vocab + idf on the docs
q_vec = vec.transform([query]) # SAME vocab for the query
sims = cosine_similarity(q_vec, doc_matrix)[0] # one score per docZwei Details, die einen funktionierenden Retriever von einem kaputten unterscheiden:
- Call
fit_transformauf den Dokumenten aber nurtransformauf der Abfrage, sodass die Abfrage in das same Vokabular und die idf Gewichte projiziert wird. Die Abfrage separat anzupassen würde sie in einen anderen Raum setzen und die Scores wären bedeutungslos. - Gib die Top-k Dokumentindizes zurück, sortiert nach Ähnlichkeit absteigend.
np.argsortsortiert aufsteigend, also sortiere die negierten Scores:np.argsort(-sims).
Build retrieve(query, docs, k), das zu einem TfidfVectorizer auf docs passt, den query gegen jedes Dokument mit cosine similarity bewertet und die Indizes der top k Dokumente als Liste von ints zurückgibt, am ähnlichsten zuerst.
Schreibe retrieve(query, docs, k), das die Indizes der k Dokumente zurückgibt, die der Abfrage am ähnlichsten sind. Passe TfidfVectorizer auf docs an, transform die Abfrage mit demselben vectorizer, bewerte jedes Dokument mit cosine_similarity und gib die k obersten Dokumentindizes als Liste von ints in absteigender Ähnlichkeitsreihenfolge zurück. Eine Abfrage über Python sollte das Python Dokument zuerst zurückgeben; eine Abfrage über Rückerstattungen sollte das refund Dokument zuerst zurückgeben.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.