Agrupamento para Roteamento e Dedup (KMeans)
Uma vez que o texto vira vetores, o clustering libera dois trabalhos que você encontra constantemente em sistemas de LLM. Roteamento semântico: agrupe exemplos de falas em clusters (faturamento, suporte técnico, vendas), depois envie uma nova mensagem para o handler cujo centroide de cluster estiver mais próximo. Encontrar duplicatas candidatas: documentos quase idênticos caem no mesmo cluster, o que restringe onde procurar. Compartilhar um cluster não faz dois documentos serem duplicatas (um cluster pode conter centenas de apenas relacionados), então a verificação real é um limite de similaridade em cada par dentro do cluster, ou uma técnica como MinHash para coleções grandes.
KMeans é o motor principal. Você diz a ele quantos clusters k você quer; ele encontra k centroids e atribui cada vetor ao mais próximo. scikit-learn faz o trabalho pesado:
from sklearn.cluster import KMeans
model = KMeans(n_clusters=k, random_state=0, n_init=10)
labels = model.fit_predict(vectors) # cluster index per input vector
model.cluster_centers_ # the k centroids
model.predict(new_vector) # route a NEW vector to a clusterDuas coisas definem se isso funciona ou não na prática:
- Determinismo. KMeans começa com centroides aleatórios, então você deve passar
random_state=0. Sem isso, os mesmos dados podem produzir rótulos diferentes em execuções diferentes, e seu roteamento se torna irreprodutível. (Os próprios valores inteiros dos rótulos são nomes arbitrários; o que importa é quais pontos compartilham um rótulo.) - Rotear um novo ponto usa
predictno modelo já ajustado, o que o atribui ao centroide mais próximo. Você não ajusta novamente.
Dois grupos de pontos bem separados devem cair em dois clusters limpos, e um novo ponto situado em um grupo deve ser direcionado para o cluster daquele grupo.
Construa duas funções. cluster_route(vectors, k) ajusta KMeans(n_clusters=k, random_state=0, n_init=10) em vectors e retorna uma tupla (labels, model), onde labels é uma lista de índices de cluster (um por vetor de entrada). route_new(model, vector) retorna o índice do cluster (um int) para o qual um novo vetor é direcionado via modelo ajustado.
Escreva duas funções. cluster_route(vectors, k) ajusta KMeans(n_clusters=k, random_state=0, n_init=10) nos vetores e retorna uma tupla (labels, model): labels é uma lista com um índice de cluster por vetor, e model é o estimador ajustado. route_new(model, vector) retorna o índice de cluster (int) que um novo vetor roteia usando o modelo ajustado. Dois grupos claramente separados devem cair em dois clusters distintos, um novo vetor deve rotear para o centroide mais próximo, o número de clusters distintos deve ser igual a k, e os resultados devem ser idênticos entre as execuções graças a random_state=0.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.