Programma Lezione 151 di 250 · Embedding e ricerca semantica da zero
Embedding e ricerca semantica da zero

Clustering per l'instradamento e i doppioni (KMeans)

Una volta che il testo è fatto di vettori, il clustering sblocca due lavori che incontri di continuo nei sistemi con LLM. Instradamento semantico: raggruppa frasi di esempio in gruppi (fatturazione, assistenza tecnica, vendite), poi manda un nuovo messaggio al gestore il cui centroide di gruppo gli sta più vicino. Trovare possibili doppioni: documenti quasi identici finiscono nello stesso gruppo, e questo restringe dove cercare. Stare nello stesso gruppo non rende due documenti dei doppioni (un gruppo può contenerne centinaia solo collegati tra loro), quindi il vero controllo è una soglia di similarità su ogni coppia dentro il gruppo, o una tecnica come MinHash per le grandi raccolte.

KMeans è lo strumento da lavoro. Gli dici quanti gruppi k vuoi; trova k centroidi e assegna ogni vettore al più vicino. scikit-learn fa il lavoro pesante:

from sklearn.cluster import KMeans
model = KMeans(n_clusters=k, random_state=0, n_init=10)
labels = model.fit_predict(vectors)   # cluster index per input vector
model.cluster_centers_                 # the k centroids
model.predict(new_vector)              # route a NEW vector to a cluster

Due cose fanno funzionare o fallire tutto questo in pratica:

  • Determinismo. KMeans parte da centroidi casuali, quindi devi passare random_state=0. Senza, gli stessi dati possono produrre etichette diverse in esecuzioni diverse, e il tuo instradamento diventa non riproducibile. (I valori interi delle etichette sono nomi arbitrari; ciò che conta è quali punti condividono un'etichetta.)
  • Instradare un nuovo punto usa predict sul modello già addestrato, che lo assegna al centroide più vicino. Non riaddestri.

Due gruppi di punti ben separati dovrebbero cadere in due gruppi puliti, e un nuovo punto che sta in uno dei due dovrebbe essere instradato verso il gruppo di quello.

Costruisci due funzioni. cluster_route(vectors, k) addestra KMeans(n_clusters=k, random_state=0, n_init=10) su vectors e restituisce una tupla (labels, model), dove labels è una lista di indici di gruppo (uno per vettore in ingresso). route_new(model, vector) restituisce l'indice di gruppo (un int) verso cui viene instradato un nuovo vettore tramite il modello addestrato.

Tocca a te

Scrivi due funzioni. cluster_route(vectors, k) addestra KMeans(n_clusters=k, random_state=0, n_init=10) sui vettori e restituisce una tupla (labels, model): labels è una lista con un indice di gruppo per vettore, e model è lo stimatore addestrato. route_new(model, vector) restituisce l'indice di gruppo (int) verso cui un nuovo vettore viene instradato con il modello addestrato. Due gruppi chiaramente separati devono finire in due gruppi distinti, un nuovo vettore deve essere instradato verso il centroide più vicino, il numero di gruppi distinti deve essere uguale a k, e i risultati devono essere identici tra un'esecuzione e l'altra grazie a random_state=0.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.