Программа курса Урок 151 из 250 · Эмбеддинги и семантический поиск с нуля
Эмбеддинги и семантический поиск с нуля

Кластеризация для маршрутизации и дедупликации (KMeans)

Когда текст становится векторами, кластеризация открывает две задачи, которые вы постоянно встречаете в системах LLM. Семантическая маршрутизация: группируйте примеры высказываний в кластеры (биллинг, техподдержка, продажи), затем отправляйте новое сообщение обработчику, чей центроид кластера находится ближе всего. Поиск кандидатов на дубликаты: почти идентичные документы попадают в один кластер, что сужает область поиска. Нахождение в одном кластере не делает два документа дубликатами (кластер может содержать сотни просто связанных документов), поэтому фактическая проверка заключается в пороге сходства для каждой пары внутри кластера или в такой технике, как MinHash для больших коллекций.

KMeans - это основная рабочая лошадка. Вы говорите, сколько кластеров k вам нужно; она находит k центроидов и назначает каждый вектор к ближайшему. scikit-learn делает всю тяжелую работу:

from sklearn.cluster import KMeans
model = KMeans(n_clusters=k, random_state=0, n_init=10)
labels = model.fit_predict(vectors)   # cluster index per input vector
model.cluster_centers_                 # the k centroids
model.predict(new_vector)              # route a NEW vector to a cluster

Две вещи решают, сработает это на практике или нет:

  • Детерминизм. KMeans начинается с случайных центроидов, поэтому вы должны передать random_state=0. Без него одни и те же данные могут давать разные метки при разных запусках, и ваш роутинг становится невоспроизводимым. (Сами значения целочисленных меток произвольны; важно только то, какие точки имеют общую метку.)
  • Маршрутизация новой точки использует predict на уже обученной модели, которая назначает ее ближайшему центроиду. Вы не переобучаете модель.

Две хорошо разделенные группы точек должны попадать в два четких кластера, а новая точка, находящаяся в одной группе, должна направляться в кластер этой группы.

Создайте две функции. cluster_route(vectors, k) подходит KMeans(n_clusters=k, random_state=0, n_init=10) на vectors и возвращает кортеж (labels, model), где labels это список индексов кластеров (по одному на каждый входной вектор). route_new(model, vector) возвращает индекс кластера (int), к которому направляется новый вектор через обученную модель.

Твоя очередь

Напишите две функции. cluster_route(vectors, k) fits KMeans(n_clusters=k, random_state=0, n_init=10) on the vectors и возвращает кортеж (labels, model): labels это list с одним индексом кластера на каждый вектор, а model это fitted estimator. route_new(model, vector) возвращает индекс кластера (int), к которому относится новый вектор с использованием fitted model. Две четко разделенные группы должны попасть в два разных кластера, новый вектор должен попасть к ближайшему центроиду, количество различных кластеров должно быть равно k, и результаты должны быть идентичными во всех запусках благодаря random_state=0.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.