Clustering für Routing & Dedup (KMeans)
Sobald Text Vektoren ist, schaltet Clustering zwei Aufgaben frei, auf die du in LLM-Systemen ständig stößt. Semantisches Routing : Gruppiere Beispiel-Äußerungen in Cluster (Abrechnung, technischer Support, Vertrieb) und sende dann eine neue Nachricht an den Handler, dessen Cluster-Zentroid ihr am nächsten liegt. Finden von Kandidaten für Duplikate : Nahezu identische Dokumente landen im selben Cluster, was eingrenzt, wo man suchen muss. Ein gemeinsamer Cluster macht zwei Dokumente nicht zu Duplikaten (ein Cluster kann hunderte lediglich verwandte enthalten), also ist die tatsächliche Prüfung ein Ähnlichkeitsschwellenwert für jedes Paar innerhalb des Clusters oder eine Technik wie MinHash für große Sammlungen.
KMeans ist das Arbeitstier. Du sagst ihm, wie viele Cluster k du willst; er findet k centroids und weist jeden Vektor dem nächsten zu. scikit-learn erledigt die schwere Arbeit:
from sklearn.cluster import KMeans
model = KMeans(n_clusters=k, random_state=0, n_init=10)
labels = model.fit_predict(vectors) # cluster index per input vector
model.cluster_centers_ # the k centroids
model.predict(new_vector) # route a NEW vector to a clusterZwei Dinge entscheiden in der Praxis darüber:
- Determinismus. KMeans startet mit zufälligen Zentroiden, also musst du
random_state=0übergeben. Ohne es können dieselben Daten bei verschiedenen Durchläufen unterschiedliche Labels erzeugen, und dein Routing wird nicht reproduzierbar. (Die ganzzahligen Labelwerte selbst sind beliebige Namen; was wichtig ist, ist, welche Punkte ein Label teilen.) - Das Routing eines neuen Punktes nutzt
predictauf dem bereits angepassten Modell, was ihn dem nächsten Zentroid zuordnet. Du passt es nicht neu an.
Zwei gut voneinander getrennte Punktgruppen sollten in zwei klare Cluster fallen, und ein neuer Punkt, der in einer Gruppe liegt, sollte zum Cluster dieser Gruppe geleitet werden.
Erstelle zwei Funktionen. cluster_route(vectors, k) passt KMeans(n_clusters=k, random_state=0, n_init=10) auf vectors und gibt ein Tupel (labels, model) zurück, wobei labels eine Liste von Cluster-Indizes (einer pro Eingabevektor) ist. route_new(model, vector) gibt den Cluster-Index (ein int) zurück, zu dem ein neuer Vektor über das trainierte Modell geleitet wird.
Schreibe zwei Funktionen. cluster_route(vectors, k) passt KMeans(n_clusters=k, random_state=0, n_init=10) auf die Vektoren und gibt ein Tupel (labels, model) zurück: labels ist eine Liste mit einem Cluster-Index pro Vektor, und model ist der angepasste Schätzer. route_new(model, vector) gibt den Cluster-Index (int) zurück, zu dem ein neuer Vektor unter Verwendung des angepassten Modells gehört. Zwei klar getrennte Gruppen müssen in zwei unterschiedliche Cluster landen, ein neuer Vektor muss zum nächsten Zentroid gehören, die Anzahl der unterschiedlichen Cluster muss k entsprechen, und die Ergebnisse müssen dank random_state=0 über alle Durchläufe hinweg identisch sein.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.