강의 계획 레슨 250개 중 151번째 · 처음부터 만드는 임베딩과 의미 검색
처음부터 만드는 임베딩과 의미 검색

라우팅과 중복 제거를 위한 군집화 (KMeans)

글이 벡터가 되면, 군집화는 LLM 시스템에서 늘 마주치는 두 가지 일을 열어 줘요. 의미 라우팅: 예시 발화를 무리(결제, 기술 지원, 영업)로 묶은 다음, 새 메시지를 그 무리 중심에 가장 가까운 처리기로 보내요. 중복 후보 찾기: 거의 똑같은 문서는 같은 무리에 떨어지니 볼 곳이 좁혀져요. 같은 무리에 있다고 두 문서가 중복인 건 아니라서(한 무리에 그저 관련 있는 문서가 수백 개 있을 수 있어요), 실제 확인은 무리 안의 각 쌍에 대한 유사도 기준이거나, 큰 모음에서는 MinHash 같은 기법이에요.

KMeans가 일꾼이에요. 원하는 무리 수 k를 말하면 k개의 중심을 찾고 모든 벡터를 가장 가까운 것에 배정해요. scikit-learn이 무거운 일을 해 줘요:

from sklearn.cluster import KMeans
model = KMeans(n_clusters=k, random_state=0, n_init=10)
labels = model.fit_predict(vectors)   # cluster index per input vector
model.cluster_centers_                 # the k centroids
model.predict(new_vector)              # route a NEW vector to a cluster

실제로 성패를 가르는 두 가지:

  • 결정성. KMeans는 무작위 중심에서 시작하니 random_state=0을 넘겨야 해요. 그게 없으면 같은 데이터가 실행마다 다른 레이블을 만들 수 있고, 라우팅을 재현할 수 없게 돼요. (정수 레이블 값 자체는 임의의 이름이에요. 중요한 건 어떤 점들이 레이블을 공유하느냐예요.)
  • 새 점 라우팅은 이미 fit 된 모델의 predict를 써서 가장 가까운 중심에 배정해요. 다시 fit 하지 않아요.

잘 떨어진 두 점 무리는 깔끔한 두 무리로 나뉘어야 하고, 한 무리에 있는 새 점은 그 무리의 군집으로 가야 해요.

함수 두 개를 만드세요. cluster_route(vectors, k)는 vectors에 KMeans(n_clusters=k, random_state=0, n_init=10)을 fit 하고 튜플 (labels, model)을 돌려줘요. labels는 (입력 벡터마다 하나씩) 무리 인덱스의 리스트예요. route_new(model, vector)는 fit 된 모델로 새 벡터가 가는 무리 인덱스(int)를 돌려줘요.

내 차례

함수 두 개를 쓰세요. cluster_route(vectors, k)는 벡터에 KMeans(n_clusters=k, random_state=0, n_init=10)을 fit 하고 튜플 (labels, model)을 돌려줘요: labels는 벡터마다 무리 인덱스 하나씩인 리스트이고, model은 fit 된 추정기예요. route_new(model, vector)는 fit 된 모델로 새 벡터가 가는 무리 인덱스(int)를 돌려줘요. 분명히 떨어진 두 무리는 서로 다른 두 군집에 떨어져야 하고, 새 벡터는 가장 가까운 중심으로 가야 하고, 서로 다른 군집의 수는 k와 같아야 하고, random_state=0 덕분에 결과는 실행마다 똑같아야 해요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.