文書の組に対する TF-IDF 検索器
生の数は、ありふれた単語に重みを付けすぎます:the はどこにでも現れ、文書について何も教えてくれません。TF-IDF がそれを直します。ある単語が文書に現れる頻度(単語頻度)に、その単語がコレクション全体でどれくらい珍しいか(逆文書頻度)を掛けるのです。1 つの文書ではよく出るのに全体では珍しい単語、つまり実際にその文書を際立たせる単語が、いちばん高い重みを得ます。
文書の TF-IDF ベクトルを行列に積み上げ、クエリを同じやり方で TF-IDF ベクトルに変え、クエリとのコサイン類似度で文書に順位を付けます。これで完全な検索器になります:ほとんどすべての RAG システムの、語彙に基づく半分です。scikit-learn は両方の部品をくれます:
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity
import numpy as np
vec = TfidfVectorizer()
doc_matrix = vec.fit_transform(docs) # fit vocab + idf on the docs
q_vec = vec.transform([query]) # SAME vocab for the query
sims = cosine_similarity(q_vec, doc_matrix)[0] # one score per doc動く検索器と壊れた検索器を分ける細部が 2 つあります:
- 文書には
fit_transformを呼びますが、クエリにはtransformだけを呼び、クエリが同じ語彙と idf の重みに射影されるようにします。クエリを別に fit すると、違う空間に置かれてしまい、スコアは無意味になります。 - 類似度の降順に並べた上位 k 件の文書のインデックスを返します。
np.argsortは昇順に並べるので、符号を反転したスコアを並べます:np.argsort(-sims)。
docs に TfidfVectorizer を fit し、query をすべての文書とコサイン類似度で採点し、上位 k 件の文書のインデックスを、いちばん似ているものから順に int のリストで返す retrieve(query, docs, k) を作ってください。
クエリにいちばん似ている k 件の文書のインデックスを返す retrieve(query, docs, k) を書いてください。docs に TfidfVectorizer を fit し、同じベクトル化器でクエリを transform し、すべての文書を cosine_similarity で採点して、上位 k 件の文書のインデックスを類似度の降順の int のリストで返します。Python についてのクエリなら Python の文書が最初に、返金についてのクエリなら返金の文書が最初に返るはずです。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。