Kurrikulum Leson 151 van 250 · Embeddings en Semantiese Soek vanaf die begin
Embeddings en Semantiese Soek vanaf die begin

Klustering vir Rootsing & Dedup (KMeans)

Sodra teks vektore is, ontsluit clustering twee take wat jy konstant in LLM-stelsels tref. Semantiese routing: groepeer voorbeeld-uitsprake in klusters (fakturering, tegniese ondersteuning, verkope), en stuur dan 'n nuwe boodskap na die handler waarvan die kluster-sentrum die naaste is. Vind kandidaat-duplikate: byna identiese dokumente beland in dieselfde kluster, wat vernou wat jy moet soek. Om 'n kluster te deel maak nie twee dokumente duplikate nie ('n kluster kan honderde bloot verwante dokumente bevat), so die werklike kontrole is 'n ooreenstemmingsdrempel op elke paar binne die kluster, of 'n tegniek soos MinHash vir groot versamellings.

KBeteken is die werkperd. Jy vertel vir dit hoeveel clusters k jy wil hê; dit vind k centroids en ken elke vektor by die naaste een toe. scikit-learn doen die swaar werk:

from sklearn.cluster import KMeans
model = KMeans(n_clusters=k, random_state=0, n_init=10)
labels = model.fit_predict(vectors)   # cluster index per input vector
model.cluster_centers_                 # the k centroids
model.predict(new_vector)              # route a NEW vector to a cluster

Twee dinge maak of breek dit in die praktyk:

  • Determinisme. KMeans begin by met willekeurige sentroïdes, so jy moet random_state=0 aanbied. Sonder dit kan dieselfde data verskillende etikette op verskillende weergawes produseer, en jou roeiering word onherhaalbaar. (Die heelgetal etikette self is willekeurige name; wat saak maak is watter punte 'n etiket deel.)
  • Rootsing 'n nuwe punt gebruik predict op die reeds-gepaste model, wat dit aan die naaste sentrum toewys. Jy pas dit nie weer aan nie.

Twee goed geskeide groepe punte moet in twee skoon klusters val, en 'n nuwe punt wat in een groep sit moet na daardie groep se kluster roeer.

Bou twee funksies. cluster_route(vectors, k) pas KMeans(n_clusters=k, random_state=0, n_init=10) op vectors en gee 'n tuple (labels, model) terug, waar labels 'n lys van kluster-indekse is (een per invoervektor). route_new(model, vector) gee die kluster-indeks ( 'n int) wat 'n nuwe vektor via die gefitte model roeer.

Jou beurt

Skryf twee funksies. cluster_route(vectors, k) pas KMeans(n_clusters=k, random_state=0, n_init=10) op die vektore aan en gee 'n tuple (labels, model) terug: labels is 'n lys met een klusterindeks per vektor, en model is die gefitte skatser. route_new(model, vector) gee die klusterindeks (int) wat 'n nuwe vektor na rooit met die gefitte model. Twee duidelike geskeide groepe moet in twee verskillende klusters beland, 'n nuwe vektor moet na die naaste sentroïde rooi, die aantal verskillende klusters moet gelyk wees aan k, en resultate moet identies wees oor verskillende uitvoerings dankie aan random_state=0.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.