シラバス レッスン 250 中 147 · 埋め込みとセマンティック検索をゼロから
埋め込みとセマンティック検索をゼロから

文書の組に対する TF-IDF 検索器

生の数は、ありふれた単語に重みを付けすぎます:the はどこにでも現れ、文書について何も教えてくれません。TF-IDF がそれを直します。ある単語が文書に現れる頻度(単語頻度)に、その単語がコレクション全体でどれくらい珍しいか(逆文書頻度)を掛けるのです。1 つの文書ではよく出るのに全体では珍しい単語、つまり実際にその文書を際立たせる単語が、いちばん高い重みを得ます。

文書の TF-IDF ベクトルを行列に積み上げ、クエリを同じやり方で TF-IDF ベクトルに変え、クエリとのコサイン類似度で文書に順位を付けます。これで完全な検索器になります:ほとんどすべての RAG システムの、語彙に基づく半分です。scikit-learn は両方の部品をくれます:

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity
import numpy as np

vec = TfidfVectorizer()
doc_matrix = vec.fit_transform(docs)        # fit vocab + idf on the docs
q_vec = vec.transform([query])              # SAME vocab for the query
sims = cosine_similarity(q_vec, doc_matrix)[0]   # one score per doc

動く検索器と壊れた検索器を分ける細部が 2 つあります:

  • 文書には fit_transform を呼びますが、クエリには transform だけを呼び、クエリが同じ語彙と idf の重みに射影されるようにします。クエリを別に fit すると、違う空間に置かれてしまい、スコアは無意味になります。
  • 類似度の降順に並べた上位 k 件の文書のインデックスを返します。np.argsort は昇順に並べるので、符号を反転したスコアを並べます:np.argsort(-sims)。

docs に TfidfVectorizer を fit し、query をすべての文書とコサイン類似度で採点し、上位 k 件の文書のインデックスを、いちばん似ているものから順に int のリストで返す retrieve(query, docs, k) を作ってください。

あなたの番

クエリにいちばん似ている k 件の文書のインデックスを返す retrieve(query, docs, k) を書いてください。docs に TfidfVectorizer を fit し、同じベクトル化器でクエリを transform し、すべての文書を cosine_similarity で採点して、上位 k 件の文書のインデックスを類似度の降順の int のリストで返します。Python についてのクエリなら Python の文書が最初に、返金についてのクエリなら返金の文書が最初に返るはずです。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。