Conteúdo do curso Lição 151 de 250 · Embeddings e Busca Semântica do Zero
Embeddings e Busca Semântica do Zero

Agrupamento para Roteamento e Dedup (KMeans)

Uma vez que o texto vira vetores, o clustering libera dois trabalhos que você encontra constantemente em sistemas de LLM. Roteamento semântico: agrupe exemplos de falas em clusters (faturamento, suporte técnico, vendas), depois envie uma nova mensagem para o handler cujo centroide de cluster estiver mais próximo. Encontrar duplicatas candidatas: documentos quase idênticos caem no mesmo cluster, o que restringe onde procurar. Compartilhar um cluster não faz dois documentos serem duplicatas (um cluster pode conter centenas de apenas relacionados), então a verificação real é um limite de similaridade em cada par dentro do cluster, ou uma técnica como MinHash para coleções grandes.

KMeans é o motor principal. Você diz a ele quantos clusters k você quer; ele encontra k centroids e atribui cada vetor ao mais próximo. scikit-learn faz o trabalho pesado:

from sklearn.cluster import KMeans
model = KMeans(n_clusters=k, random_state=0, n_init=10)
labels = model.fit_predict(vectors)   # cluster index per input vector
model.cluster_centers_                 # the k centroids
model.predict(new_vector)              # route a NEW vector to a cluster

Duas coisas definem se isso funciona ou não na prática:

  • Determinismo. KMeans começa com centroides aleatórios, então você deve passar random_state=0. Sem isso, os mesmos dados podem produzir rótulos diferentes em execuções diferentes, e seu roteamento se torna irreprodutível. (Os próprios valores inteiros dos rótulos são nomes arbitrários; o que importa é quais pontos compartilham um rótulo.)
  • Rotear um novo ponto usa predict no modelo já ajustado, o que o atribui ao centroide mais próximo. Você não ajusta novamente.

Dois grupos de pontos bem separados devem cair em dois clusters limpos, e um novo ponto situado em um grupo deve ser direcionado para o cluster daquele grupo.

Construa duas funções. cluster_route(vectors, k) ajusta KMeans(n_clusters=k, random_state=0, n_init=10) em vectors e retorna uma tupla (labels, model), onde labels é uma lista de índices de cluster (um por vetor de entrada). route_new(model, vector) retorna o índice do cluster (um int) para o qual um novo vetor é direcionado via modelo ajustado.

Sua vez

Escreva duas funções. cluster_route(vectors, k) ajusta KMeans(n_clusters=k, random_state=0, n_init=10) nos vetores e retorna uma tupla (labels, model): labels é uma lista com um índice de cluster por vetor, e model é o estimador ajustado. route_new(model, vector) retorna o índice de cluster (int) que um novo vetor roteia usando o modelo ajustado. Dois grupos claramente separados devem cair em dois clusters distintos, um novo vetor deve rotear para o centroide mais próximo, o número de clusters distintos deve ser igual a k, e os resultados devem ser idênticos entre as execuções graças a random_state=0.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.