Temario Lección 151 de 250 · Embeddings y búsqueda semántica desde cero
Embeddings y búsqueda semántica desde cero

Agrupamiento para enrutar y eliminar duplicados (KMeans)

Una vez que el texto son vectores, el agrupamiento desbloquea dos tareas que te encuentras constantemente en los sistemas con LLM. Enrutamiento semántico: agrupa frases de ejemplo en grupos (facturación, soporte técnico, ventas) y luego envía un mensaje nuevo al gestor cuyo centroide de grupo tenga más cerca. Encontrar posibles duplicados: los documentos casi idénticos caen en el mismo grupo, lo que acota dónde buscar. Compartir grupo no convierte a dos documentos en duplicados (un grupo puede contener cientos que solo están relacionados), así que la comprobación real es un umbral de similitud sobre cada par dentro del grupo, o una técnica como MinHash para colecciones grandes.

KMeans es el caballo de batalla. Le dices cuántos grupos k quieres; encuentra k centroides y asigna cada vector al más cercano. scikit-learn hace el trabajo pesado:

from sklearn.cluster import KMeans
model = KMeans(n_clusters=k, random_state=0, n_init=10)
labels = model.fit_predict(vectors)   # cluster index per input vector
model.cluster_centers_                 # the k centroids
model.predict(new_vector)              # route a NEW vector to a cluster

Dos cosas hacen que esto funcione o falle en la práctica:

  • Determinismo. KMeans empieza con centroides aleatorios, así que debes pasar random_state=0. Sin eso, los mismos datos pueden producir etiquetas distintas en ejecuciones distintas, y tu enrutamiento se vuelve irreproducible. (Los valores enteros de las etiquetas son nombres arbitrarios; lo que importa es qué puntos comparten etiqueta.)
  • Enrutar un punto nuevo usa predict sobre el modelo ya ajustado, que lo asigna al centroide más cercano. No vuelves a ajustar.

Dos grupos de puntos bien separados deben caer en dos grupos limpios, y un punto nuevo situado en uno de ellos debe enrutarse al grupo correspondiente.

Construye dos funciones. cluster_route(vectors, k) ajusta KMeans(n_clusters=k, random_state=0, n_init=10) sobre vectors y devuelve una tupla (labels, model), donde labels es una lista de índices de grupo (uno por vector de entrada). route_new(model, vector) devuelve el índice de grupo (un int) al que se enruta un vector nuevo mediante el modelo ajustado.

Tu turno

Escribe dos funciones. cluster_route(vectors, k) ajusta KMeans(n_clusters=k, random_state=0, n_init=10) sobre los vectores y devuelve una tupla (labels, model): labels es una lista con un índice de grupo por vector, y model es el estimador ajustado. route_new(model, vector) devuelve el índice de grupo (int) al que se enruta un vector nuevo usando el modelo ajustado. Dos grupos claramente separados deben caer en dos grupos distintos, un vector nuevo debe enrutarse al centroide más cercano, el número de grupos distintos debe ser igual a k, y los resultados deben ser idénticos entre ejecuciones gracias a random_state=0.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.