Agrupamiento para enrutar y eliminar duplicados (KMeans)
Una vez que el texto son vectores, el agrupamiento desbloquea dos tareas que te encuentras constantemente en los sistemas con LLM. Enrutamiento semántico: agrupa frases de ejemplo en grupos (facturación, soporte técnico, ventas) y luego envía un mensaje nuevo al gestor cuyo centroide de grupo tenga más cerca. Encontrar posibles duplicados: los documentos casi idénticos caen en el mismo grupo, lo que acota dónde buscar. Compartir grupo no convierte a dos documentos en duplicados (un grupo puede contener cientos que solo están relacionados), así que la comprobación real es un umbral de similitud sobre cada par dentro del grupo, o una técnica como MinHash para colecciones grandes.
KMeans es el caballo de batalla. Le dices cuántos grupos k quieres; encuentra k centroides y asigna cada vector al más cercano. scikit-learn hace el trabajo pesado:
from sklearn.cluster import KMeans
model = KMeans(n_clusters=k, random_state=0, n_init=10)
labels = model.fit_predict(vectors) # cluster index per input vector
model.cluster_centers_ # the k centroids
model.predict(new_vector) # route a NEW vector to a clusterDos cosas hacen que esto funcione o falle en la práctica:
- Determinismo. KMeans empieza con centroides aleatorios, así que debes pasar
random_state=0. Sin eso, los mismos datos pueden producir etiquetas distintas en ejecuciones distintas, y tu enrutamiento se vuelve irreproducible. (Los valores enteros de las etiquetas son nombres arbitrarios; lo que importa es qué puntos comparten etiqueta.) - Enrutar un punto nuevo usa
predictsobre el modelo ya ajustado, que lo asigna al centroide más cercano. No vuelves a ajustar.
Dos grupos de puntos bien separados deben caer en dos grupos limpios, y un punto nuevo situado en uno de ellos debe enrutarse al grupo correspondiente.
Construye dos funciones. cluster_route(vectors, k) ajusta KMeans(n_clusters=k, random_state=0, n_init=10) sobre vectors y devuelve una tupla (labels, model), donde labels es una lista de índices de grupo (uno por vector de entrada). route_new(model, vector) devuelve el índice de grupo (un int) al que se enruta un vector nuevo mediante el modelo ajustado.
Escribe dos funciones. cluster_route(vectors, k) ajusta KMeans(n_clusters=k, random_state=0, n_init=10) sobre los vectores y devuelve una tupla (labels, model): labels es una lista con un índice de grupo por vector, y model es el estimador ajustado. route_new(model, vector) devuelve el índice de grupo (int) al que se enruta un vector nuevo usando el modelo ajustado. Dos grupos claramente separados deben caer en dos grupos distintos, un vector nuevo debe enrutarse al centroide más cercano, el número de grupos distintos debe ser igual a k, y los resultados deben ser idénticos entre ejecuciones gracias a random_state=0.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.