강의 계획 레슨 250개 중 144번째 · 처음부터 만드는 임베딩과 의미 검색
처음부터 만드는 임베딩과 의미 검색

numpy로 코사인 유사도

이제 문서가 벡터가 됐으니, 두 문서가 "비슷한지" 어떻게 잴까요? 본능은 유클리드 거리(직선 거리)지만, 글에서는 함정이에요. 긴 문서는 단어를 반복하니 개수 벡터가 그냥 더 커지고, 유클리드 거리는 주제가 똑같아도 길이 때문에 벌해요. 실제로 신경 쓰는 건 방향이에요: 어떤 단어가, 어떤 비율로. 그게 코사인 유사도가 재는 거예요.

코사인 유사도는 두 벡터 사이 각도의 코사인이에요:

cosine(a, b) = (a . b) / (|a| * |b|)

여기서 a . b는 내적이고 |a|는 a의 길이(L2 노름)예요. 값은 깔끔한 범위에 떨어져요:

  • 1.0 -> 같은 방향(문서와 그것을 키운 사본).
  • 0.0 -> 직교, 공유하는 방향 없음(공통 단어 없음).
  • 그 사이의 값 -> 부분적으로 겹침.

길이를 나눠 없애니, 코사인은 [1, 1]과 [10, 10]을 똑같이 다뤄요. 그 길이 불변성이 바로 모든 임베딩과 RAG 시스템이 유클리드 거리가 아니라 코사인으로 순위를 매기는 이유예요.

numpy에서는 전체가 호출 세 번이에요:

import numpy as np
a = np.array([1, 2, 3], dtype=float)
b = np.array([2, 4, 6], dtype=float)
np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b))   # -> 1.0

실무에서 물릴 경계 사례 하나: 영벡터(어휘 단어가 하나도 없는 문서)는 길이가 0이고, 0으로 나누면 NaN이 나와서 그 뒤의 모든 정렬을 오염시켜요. 튼튼한 유사도는 어느 벡터든 모두 0이면 0.0을 돌려줘요.

코사인 유사도를 float로 돌려주고, 어느 입력이든 영벡터면 (NaN이 아니라) 0.0을 돌려주는 cosine(a, b)를 만드세요. 입력은 Python 리스트일 수도 numpy 배열일 수도 있어요.

내 차례

두 벡터의 코사인 유사도를 돌려주는 cosine(a, b)를 쓰세요: 내적을 두 L2 노름의 곱으로 나눈 것이에요. Python 리스트나 numpy 배열을 받고 float를 돌려주세요. 평행한 벡터는 1.0, 직교하는 벡터는 0.0을 돌려주고, 함수는 대칭이에요. 어느 벡터든 모두 0이면 0으로 나눠 NaN을 만들지 말고 0.0을 돌려주세요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.