Programma Les 151 van 250 · Embeddings & Semantische Zoekopdracht vanaf het begin
Embeddings & Semantische Zoekopdracht vanaf het begin

Clustering voor Routing & Dedup (KMeans)

Zodra tekst vectoren is, ontgrendelt clustering twee taken die je constant tegenkomt in LLM-systemen. Semantic routing: groepeer voorbeelduitsprakingen in clusters (facturering, technische ondersteuning, verkoop), en stuur dan een nieuwe bericht naar de handler waarvan het cluster-centroid het dichtstbij ligt. Het vinden van kandidaat-duplicaten: bijna identieke documenten belanden in hetzelfde cluster, wat de zoekopdracht vernauwt. Het delen van een cluster maakt twee documenten niet tot duplicaten (een cluster kan honderden slechts gerelateerde items bevatten), dus de eigenlijke check is een drempelwaarde voor gelijkenis op elk paar binnen het cluster, of een techniek zoals MinHash voor grote collecties.

KMeans is de werkpaard. Je vertelt het hoeveel clusters k je wilt; het vindt k centroids en wijst elke vector toe aan de dichtstbijzijnde. scikit-learn doet het zware werk:

from sklearn.cluster import KMeans
model = KMeans(n_clusters=k, random_state=0, n_init=10)
labels = model.fit_predict(vectors)   # cluster index per input vector
model.cluster_centers_                 # the k centroids
model.predict(new_vector)              # route a NEW vector to a cluster

Twee dingen bepalen of dit in de praktijk werkt of niet:

  • Determinisme. KMeans begint bij willekeurige centroids, dus moet je random_state=0 doorgeven. Zonder dit kunnen dezelfde data verschillende labels produceren bij verschillende runs, en wordt je routing niet reproduceerbaar. (De gehele integer label waarden zijn willekeurige namen; wat ertoe doet is welke punten een label delen.)
  • Het routeren van een nieuw punt gebruikt predict op het reeds gefitte model, wat het toewijst aan het dichtstbijzijnde centroid. Je past het niet opnieuw aan.

Twee goed gescheiden groepen punten moeten in twee duidelijke clusters vallen, en een nieuw punt dat in een groep zit moet naar het cluster van die groep gaan.

Bouw twee functies. cluster_route(vectors, k) past KMeans(n_clusters=k, random_state=0, n_init=10) op vectors en geeft een tuple (labels, model) terug, waarbij labels een lijst van cluster indices is (één per input vector). route_new(model, vector) geeft de cluster index (een int) terug waar een nieuwe vector naar gaat via het gefitte model.

Jij bent aan de beurt

Schrijf twee functies. cluster_route(vectors, k) past KMeans(n_clusters=k, random_state=0, n_init=10) op de vectoren en geeft een tuple (labels, model) terug: labels is een lijst met één clusterindex per vector, en model is de gefitte schatter. route_new(model, vector) geeft de clusterindex (int) terug waar een nieuwe vector naar gaat met het gefitte model. Twee duidelijk gescheiden groepen moeten in twee verschillende clusters terechtkomen, een nieuwe vector moet naar het dichtstbijzijnde centroid gaan, het aantal verschillende clusters moet gelijk zijn aan k, en resultaten moeten identiek zijn over verschillende runs dankzij random_state=0.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.