라우팅과 중복 제거를 위한 군집화 (KMeans)
글이 벡터가 되면, 군집화는 LLM 시스템에서 늘 마주치는 두 가지 일을 열어 줘요. 의미 라우팅: 예시 발화를 무리(결제, 기술 지원, 영업)로 묶은 다음, 새 메시지를 그 무리 중심에 가장 가까운 처리기로 보내요. 중복 후보 찾기: 거의 똑같은 문서는 같은 무리에 떨어지니 볼 곳이 좁혀져요. 같은 무리에 있다고 두 문서가 중복인 건 아니라서(한 무리에 그저 관련 있는 문서가 수백 개 있을 수 있어요), 실제 확인은 무리 안의 각 쌍에 대한 유사도 기준이거나, 큰 모음에서는 MinHash 같은 기법이에요.
KMeans가 일꾼이에요. 원하는 무리 수 k를 말하면 k개의 중심을 찾고 모든 벡터를 가장 가까운 것에 배정해요. scikit-learn이 무거운 일을 해 줘요:
from sklearn.cluster import KMeans
model = KMeans(n_clusters=k, random_state=0, n_init=10)
labels = model.fit_predict(vectors) # cluster index per input vector
model.cluster_centers_ # the k centroids
model.predict(new_vector) # route a NEW vector to a cluster실제로 성패를 가르는 두 가지:
- 결정성. KMeans는 무작위 중심에서 시작하니
random_state=0을 넘겨야 해요. 그게 없으면 같은 데이터가 실행마다 다른 레이블을 만들 수 있고, 라우팅을 재현할 수 없게 돼요. (정수 레이블 값 자체는 임의의 이름이에요. 중요한 건 어떤 점들이 레이블을 공유하느냐예요.) - 새 점 라우팅은 이미 fit 된 모델의
predict를 써서 가장 가까운 중심에 배정해요. 다시 fit 하지 않아요.
잘 떨어진 두 점 무리는 깔끔한 두 무리로 나뉘어야 하고, 한 무리에 있는 새 점은 그 무리의 군집으로 가야 해요.
함수 두 개를 만드세요. cluster_route(vectors, k)는 vectors에 KMeans(n_clusters=k, random_state=0, n_init=10)을 fit 하고 튜플 (labels, model)을 돌려줘요. labels는 (입력 벡터마다 하나씩) 무리 인덱스의 리스트예요. route_new(model, vector)는 fit 된 모델로 새 벡터가 가는 무리 인덱스(int)를 돌려줘요.
함수 두 개를 쓰세요. cluster_route(vectors, k)는 벡터에 KMeans(n_clusters=k, random_state=0, n_init=10)을 fit 하고 튜플 (labels, model)을 돌려줘요: labels는 벡터마다 무리 인덱스 하나씩인 리스트이고, model은 fit 된 추정기예요. route_new(model, vector)는 fit 된 모델로 새 벡터가 가는 무리 인덱스(int)를 돌려줘요. 분명히 떨어진 두 무리는 서로 다른 두 군집에 떨어져야 하고, 새 벡터는 가장 가까운 중심으로 가야 하고, 서로 다른 군집의 수는 k와 같아야 하고, random_state=0 덕분에 결과는 실행마다 똑같아야 해요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.