Lehrplan Lektion 151 von 250 · Embeddings & Semantische Suche von Grund auf
Embeddings & Semantische Suche von Grund auf

Clustering für Routing & Dedup (KMeans)

Sobald Text Vektoren ist, schaltet Clustering zwei Aufgaben frei, auf die du in LLM-Systemen ständig stößt. Semantisches Routing : Gruppiere Beispiel-Äußerungen in Cluster (Abrechnung, technischer Support, Vertrieb) und sende dann eine neue Nachricht an den Handler, dessen Cluster-Zentroid ihr am nächsten liegt. Finden von Kandidaten für Duplikate : Nahezu identische Dokumente landen im selben Cluster, was eingrenzt, wo man suchen muss. Ein gemeinsamer Cluster macht zwei Dokumente nicht zu Duplikaten (ein Cluster kann hunderte lediglich verwandte enthalten), also ist die tatsächliche Prüfung ein Ähnlichkeitsschwellenwert für jedes Paar innerhalb des Clusters oder eine Technik wie MinHash für große Sammlungen.

KMeans ist das Arbeitstier. Du sagst ihm, wie viele Cluster k du willst; er findet k centroids und weist jeden Vektor dem nächsten zu. scikit-learn erledigt die schwere Arbeit:

from sklearn.cluster import KMeans
model = KMeans(n_clusters=k, random_state=0, n_init=10)
labels = model.fit_predict(vectors)   # cluster index per input vector
model.cluster_centers_                 # the k centroids
model.predict(new_vector)              # route a NEW vector to a cluster

Zwei Dinge entscheiden in der Praxis darüber:

  • Determinismus. KMeans startet mit zufälligen Zentroiden, also musst du random_state=0 übergeben. Ohne es können dieselben Daten bei verschiedenen Durchläufen unterschiedliche Labels erzeugen, und dein Routing wird nicht reproduzierbar. (Die ganzzahligen Labelwerte selbst sind beliebige Namen; was wichtig ist, ist, welche Punkte ein Label teilen.)
  • Das Routing eines neuen Punktes nutzt predict auf dem bereits angepassten Modell, was ihn dem nächsten Zentroid zuordnet. Du passt es nicht neu an.

Zwei gut voneinander getrennte Punktgruppen sollten in zwei klare Cluster fallen, und ein neuer Punkt, der in einer Gruppe liegt, sollte zum Cluster dieser Gruppe geleitet werden.

Erstelle zwei Funktionen. cluster_route(vectors, k) passt KMeans(n_clusters=k, random_state=0, n_init=10) auf vectors und gibt ein Tupel (labels, model) zurück, wobei labels eine Liste von Cluster-Indizes (einer pro Eingabevektor) ist. route_new(model, vector) gibt den Cluster-Index (ein int) zurück, zu dem ein neuer Vektor über das trainierte Modell geleitet wird.

Du bist dran

Schreibe zwei Funktionen. cluster_route(vectors, k) passt KMeans(n_clusters=k, random_state=0, n_init=10) auf die Vektoren und gibt ein Tupel (labels, model) zurück: labels ist eine Liste mit einem Cluster-Index pro Vektor, und model ist der angepasste Schätzer. route_new(model, vector) gibt den Cluster-Index (int) zurück, zu dem ein neuer Vektor unter Verwendung des angepassten Modells gehört. Zwei klar getrennte Gruppen müssen in zwei unterschiedliche Cluster landen, ein neuer Vektor muss zum nächsten Zentroid gehören, die Anzahl der unterschiedlichen Cluster muss k entsprechen, und die Ergebnisse müssen dank random_state=0 über alle Durchläufe hinweg identisch sein.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.