문서 세트 위의 TF-IDF 검색기
날것의 개수는 흔한 단어에 무게를 너무 줘요: the는 어디에나 나오고 문서에 대해 아무것도 알려 주지 않아요. TF-IDF가 그걸 고쳐요. 항이 문서에 얼마나 자주 나오는지(단어 빈도)에 그 항이 전체 모음에서 얼마나 드문지(역문서 빈도)를 곱해요. 한 문서에서는 잦지만 전체에서는 드문 단어, 실제로 그 문서를 구별하는 단어가 가장 큰 가중치를 얻어요.
문서들의 TF-IDF 벡터를 행렬로 쌓고, 쿼리를 같은 방식으로 TF-IDF 벡터로 바꾸고, 쿼리에 대한 코사인 유사도로 문서의 순위를 매겨요. 그게 완전한 검색기예요: 거의 모든 RAG 시스템의 어휘적 반쪽이에요. scikit-learn이 두 조각을 다 줘요:
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity
import numpy as np
vec = TfidfVectorizer()
doc_matrix = vec.fit_transform(docs) # fit vocab + idf on the docs
q_vec = vec.transform([query]) # SAME vocab for the query
sims = cosine_similarity(q_vec, doc_matrix)[0] # one score per doc동작하는 검색기와 망가진 검색기를 가르는 세부 두 가지:
- 문서에는
fit_transform을 부르지만 쿼리에는transform만 불러서, 쿼리가 같은 어휘와 idf 가중치로 투영되게 하세요. 쿼리를 따로 fit 하면 다른 공간에 놓여 점수가 무의미해질 거예요. - 유사도 내림차순으로 정렬한 상위 k 문서 인덱스를 돌려주세요.
np.argsort는 오름차순으로 정렬하니, 점수의 부호를 바꿔 정렬하세요:np.argsort(-sims).
docs에 TfidfVectorizer를 fit 하고, 모든 문서에 대해 query를 코사인 유사도로 채점하고, 상위 k 문서의 인덱스를 가장 비슷한 것부터 int 리스트로 돌려주는 retrieve(query, docs, k)를 만드세요.
쿼리에 가장 비슷한 k개 문서의 인덱스를 돌려주는 retrieve(query, docs, k)를 쓰세요. docs에 TfidfVectorizer를 fit 하고, 같은 벡터라이저로 쿼리를 transform 하고, cosine_similarity로 모든 문서를 채점하고, 상위 k 문서 인덱스를 유사도 내림차순의 int 리스트로 돌려주세요. Python에 관한 쿼리는 Python 문서를, 환불에 관한 쿼리는 환불 문서를 먼저 돌려줘야 해요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.