작은 벡터 저장소
문서를 청크로 나누고 각 청크를 벡터로 바꾸고 나면, 그 벡터를 둘 곳과 "어떤 저장된 벡터가 이 쿼리와 가장 같은 쪽을 가리키나?"를 물을 방법이 필요해요. 그게 벡터 저장소예요. Pinecone, Chroma, FAISS, pgvector는 이 생각의 실무 판이지만, 핵심은 손으로 만들 만큼 작고, 한 번 만들어 보면 그 서비스들이 실제로 무엇을 하는지 이해하게 돼요.
검색 지표는 코사인 유사도예요: 두 벡터 사이 각도의 코사인, a . b / (|a| |b|). 같은 방향을 가리키는 벡터에 상을 주고 길이는 무시해요. 긴 구절과 짧은 구절이 같은 것에 관한 것일 수 있는 글에 원하는 성질이에요. 1에 가까운 점수는 "아주 비슷한 방향", 0에 가까우면 "무관함"이에요.
저장소가 호출 사이에 기억을 갖도록 클래스를 만들 거예요. 이 레슨들을 지키는 관문은 클래스 메서드를 대역으로 바꾸지 않으니, 여기서 안전장치는 여러분의 search가 여러 다른 쿼리에 대해 올바른 최근접 이웃 순서를 돌려줘야 한다는 거예요: 진짜 코사인 수학만 모두를 맞혀요.
import numpy as np
class VectorStore:
def __init__(self):
self.ids = []
self.vectors = []
def add(self, id, text, vector):
self.ids.append(id)
self.vectors.append(np.asarray(vector, dtype=float))
def search(self, query_vec, k):
q = np.asarray(query_vec, dtype=float)
scored = []
for vec_id, v in zip(self.ids, self.vectors):
denom = np.linalg.norm(q) * np.linalg.norm(v)
sim = float(q @ v / denom) if denom else 0.0
scored.append((vec_id, sim))
scored.sort(key=lambda pair: pair[1], reverse=True)
return scored[:k]만들 것. 다음이 있는 class VectorStore를 구현하세요:
- id, 글, 벡터를 저장하는
add(id, text, vector)(벡터는 float의 numpy 배열로 저장하세요). len(store)가 저장된 항목 수를 돌려주도록__len__.- 호출하는 쪽이 무엇이 더해졌는지 볼 수 있게
ids속성(리스트). - 유사도 내림차순으로 정렬하고 길이를
k로 제한한(id, similarity)튜플의 리스트로 top-k 최근접 이웃을 돌려주는search(query_vec, k).
점수에 numpy.argsort나 평범한 정렬을 쓰세요. Run을 눌러 라벨 붙은 벡터 몇 개를 더하고 쿼리가 어떤 것을 먼저 끌어오는지 보세요.
add(id, text, vector)(id, 글, 그리고 numpy float 배열로 벡터를 저장), 항목 수를 돌려주는 __len__, 공개 ids 리스트, 그리고 코사인 유사도로 가장 높은 것부터 k개로 제한한 top-k (id, similarity) 튜플을 돌려주는 search(query_vec, k)가 있는 class VectorStore를 구현하세요. 0 벡터는 충돌 없이 0.0점이어야 해요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.