Klustering vir Rootsing & Dedup (KMeans)
Sodra teks vektore is, ontsluit clustering twee take wat jy konstant in LLM-stelsels tref. Semantiese routing: groepeer voorbeeld-uitsprake in klusters (fakturering, tegniese ondersteuning, verkope), en stuur dan 'n nuwe boodskap na die handler waarvan die kluster-sentrum die naaste is. Vind kandidaat-duplikate: byna identiese dokumente beland in dieselfde kluster, wat vernou wat jy moet soek. Om 'n kluster te deel maak nie twee dokumente duplikate nie ('n kluster kan honderde bloot verwante dokumente bevat), so die werklike kontrole is 'n ooreenstemmingsdrempel op elke paar binne die kluster, of 'n tegniek soos MinHash vir groot versamellings.
KBeteken is die werkperd. Jy vertel vir dit hoeveel clusters k jy wil hê; dit vind k centroids en ken elke vektor by die naaste een toe. scikit-learn doen die swaar werk:
from sklearn.cluster import KMeans
model = KMeans(n_clusters=k, random_state=0, n_init=10)
labels = model.fit_predict(vectors) # cluster index per input vector
model.cluster_centers_ # the k centroids
model.predict(new_vector) # route a NEW vector to a clusterTwee dinge maak of breek dit in die praktyk:
- Determinisme. KMeans begin by met willekeurige sentroïdes, so jy moet
random_state=0aanbied. Sonder dit kan dieselfde data verskillende etikette op verskillende weergawes produseer, en jou roeiering word onherhaalbaar. (Die heelgetal etikette self is willekeurige name; wat saak maak is watter punte 'n etiket deel.) - Rootsing 'n nuwe punt gebruik
predictop die reeds-gepaste model, wat dit aan die naaste sentrum toewys. Jy pas dit nie weer aan nie.
Twee goed geskeide groepe punte moet in twee skoon klusters val, en 'n nuwe punt wat in een groep sit moet na daardie groep se kluster roeer.
Bou twee funksies. cluster_route(vectors, k) pas KMeans(n_clusters=k, random_state=0, n_init=10) op vectors en gee 'n tuple (labels, model) terug, waar labels 'n lys van kluster-indekse is (een per invoervektor). route_new(model, vector) gee die kluster-indeks ( 'n int) wat 'n nuwe vektor via die gefitte model roeer.
Skryf twee funksies. cluster_route(vectors, k) pas KMeans(n_clusters=k, random_state=0, n_init=10) op die vektore aan en gee 'n tuple (labels, model) terug: labels is 'n lys met een klusterindeks per vektor, en model is die gefitte skatser. route_new(model, vector) gee die klusterindeks (int) wat 'n nuwe vektor na rooit met die gefitte model. Twee duidelike geskeide groepe moet in twee verskillende klusters beland, 'n nuwe vektor moet na die naaste sentroïde rooi, die aantal verskillende klusters moet gelyk wees aan k, en resultate moet identies wees oor verskillende uitvoerings dankie aan random_state=0.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.