Кластеризация для маршрутизации и дедупликации (KMeans)
Когда текст становится векторами, кластеризация открывает две задачи, которые вы постоянно встречаете в системах LLM. Семантическая маршрутизация: группируйте примеры высказываний в кластеры (биллинг, техподдержка, продажи), затем отправляйте новое сообщение обработчику, чей центроид кластера находится ближе всего. Поиск кандидатов на дубликаты: почти идентичные документы попадают в один кластер, что сужает область поиска. Нахождение в одном кластере не делает два документа дубликатами (кластер может содержать сотни просто связанных документов), поэтому фактическая проверка заключается в пороге сходства для каждой пары внутри кластера или в такой технике, как MinHash для больших коллекций.
KMeans - это основная рабочая лошадка. Вы говорите, сколько кластеров k вам нужно; она находит k центроидов и назначает каждый вектор к ближайшему. scikit-learn делает всю тяжелую работу:
from sklearn.cluster import KMeans
model = KMeans(n_clusters=k, random_state=0, n_init=10)
labels = model.fit_predict(vectors) # cluster index per input vector
model.cluster_centers_ # the k centroids
model.predict(new_vector) # route a NEW vector to a clusterДве вещи решают, сработает это на практике или нет:
- Детерминизм. KMeans начинается с случайных центроидов, поэтому вы должны передать
random_state=0. Без него одни и те же данные могут давать разные метки при разных запусках, и ваш роутинг становится невоспроизводимым. (Сами значения целочисленных меток произвольны; важно только то, какие точки имеют общую метку.) - Маршрутизация новой точки использует
predictна уже обученной модели, которая назначает ее ближайшему центроиду. Вы не переобучаете модель.
Две хорошо разделенные группы точек должны попадать в два четких кластера, а новая точка, находящаяся в одной группе, должна направляться в кластер этой группы.
Создайте две функции. cluster_route(vectors, k) подходит KMeans(n_clusters=k, random_state=0, n_init=10) на vectors и возвращает кортеж (labels, model), где labels это список индексов кластеров (по одному на каждый входной вектор). route_new(model, vector) возвращает индекс кластера (int), к которому направляется новый вектор через обученную модель.
Напишите две функции. cluster_route(vectors, k) fits KMeans(n_clusters=k, random_state=0, n_init=10) on the vectors и возвращает кортеж (labels, model): labels это list с одним индексом кластера на каждый вектор, а model это fitted estimator. route_new(model, vector) возвращает индекс кластера (int), к которому относится новый вектор с использованием fitted model. Две четко разделенные группы должны попасть в два разных кластера, новый вектор должен попасть к ближайшему центроиду, количество различных кластеров должно быть равно k, и результаты должны быть идентичными во всех запусках благодаря random_state=0.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.