강의 계획 레슨 250개 중 147번째 · 처음부터 만드는 임베딩과 의미 검색
처음부터 만드는 임베딩과 의미 검색

문서 세트 위의 TF-IDF 검색기

날것의 개수는 흔한 단어에 무게를 너무 줘요: the는 어디에나 나오고 문서에 대해 아무것도 알려 주지 않아요. TF-IDF가 그걸 고쳐요. 항이 문서에 얼마나 자주 나오는지(단어 빈도)에 그 항이 전체 모음에서 얼마나 드문지(역문서 빈도)를 곱해요. 한 문서에서는 잦지만 전체에서는 드문 단어, 실제로 그 문서를 구별하는 단어가 가장 큰 가중치를 얻어요.

문서들의 TF-IDF 벡터를 행렬로 쌓고, 쿼리를 같은 방식으로 TF-IDF 벡터로 바꾸고, 쿼리에 대한 코사인 유사도로 문서의 순위를 매겨요. 그게 완전한 검색기예요: 거의 모든 RAG 시스템의 어휘적 반쪽이에요. scikit-learn이 두 조각을 다 줘요:

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity
import numpy as np

vec = TfidfVectorizer()
doc_matrix = vec.fit_transform(docs)        # fit vocab + idf on the docs
q_vec = vec.transform([query])              # SAME vocab for the query
sims = cosine_similarity(q_vec, doc_matrix)[0]   # one score per doc

동작하는 검색기와 망가진 검색기를 가르는 세부 두 가지:

  • 문서에는 fit_transform을 부르지만 쿼리에는 transform만 불러서, 쿼리가 같은 어휘와 idf 가중치로 투영되게 하세요. 쿼리를 따로 fit 하면 다른 공간에 놓여 점수가 무의미해질 거예요.
  • 유사도 내림차순으로 정렬한 상위 k 문서 인덱스를 돌려주세요. np.argsort는 오름차순으로 정렬하니, 점수의 부호를 바꿔 정렬하세요: np.argsort(-sims).

docs에 TfidfVectorizer를 fit 하고, 모든 문서에 대해 query를 코사인 유사도로 채점하고, 상위 k 문서의 인덱스를 가장 비슷한 것부터 int 리스트로 돌려주는 retrieve(query, docs, k)를 만드세요.

내 차례

쿼리에 가장 비슷한 k개 문서의 인덱스를 돌려주는 retrieve(query, docs, k)를 쓰세요. docs에 TfidfVectorizer를 fit 하고, 같은 벡터라이저로 쿼리를 transform 하고, cosine_similarity로 모든 문서를 채점하고, 상위 k 문서 인덱스를 유사도 내림차순의 int 리스트로 돌려주세요. Python에 관한 쿼리는 Python 문서를, 환불에 관한 쿼리는 환불 문서를 먼저 돌려줘야 해요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.