Müfredat 250 dersinden 151. · Sıfırdan Embeddings ve Semantik Arama
Sıfırdan Embeddings ve Semantik Arama

Yönlendirme ve Tekilleştirme için Kümeleme (KMeans)

Metinler vektör olduğunda, kümeleme LLM sistemlerinde sürekli karşılaştığın iki görevi çözer. Anlamsal yönlendirme: örnek ifadeleri kümelere ayır (fatura, teknik destek, satış), sonra yeni mesajı kendisine en yakın küme merkezine sahip olan işleyiciye gönder. Aday kopyaları bulma: birbirine çok yakın belgeler aynı kümeye düşer, bu da nereye bakacağını daraltır. Bir kümeyi paylaşmak iki belgeyi kopya yapmaz (bir küme sadece ilgili yüzlerce belgeyi barındırabilir), bu yüzden asıl kontrol küme içindeki her çift için bir benzerlik eşiği veya büyük koleksiyonlar için MinHash gibi bir tekniktir.

KMeans işin yükünü çeken ana bileşendir. Kaç tane k kümesi istediğini söylersin; o k merkezlerini bulur ve her vektörü en yakındakine atar. Ağır işi scikit-learn yapar:

from sklearn.cluster import KMeans
model = KMeans(n_clusters=k, random_state=0, n_init=10)
labels = model.fit_predict(vectors)   # cluster index per input vector
model.cluster_centers_                 # the k centroids
model.predict(new_vector)              # route a NEW vector to a cluster

Bunu uygulamada ya çalışır ya da bozar iki şey vardır:

  • Determinizm. KMeans rastgele merkezlerden başlar, bu yüzden random_state=0 geçirmelisin. O olmadan, aynı veriler farklı çalışmalarda farklı etiketler üretebilir ve yönlendirmenin tekrarlanamaz hale gelir. (Tam sayı etiket değerlerinin kendileri keyfi isimlerdir; önemli olan hangi noktaların bir etiketi paylaştığıdır.)
  • Yeni bir nokta yönlendirmek, halihazırda uyarlanmış model üzerinde predict kullanır ve onu en yakın merkeze atar. Yeniden uyarlama yapmazsın.

İyi ayrılmış iki nokta grubu iki temiz küme oluşturmalı ve bir grupta duran yeni bir nokta o grubun kümesine yönlenmeli.

İki fonksiyon oluştur. cluster_route(vectors, k) fits KMeans(n_clusters=k, random_state=0, n_init=10) on vectors ve bir (labels, model) döndürür, burada labels her bir giriş vektörü için bir tane olacak şekilde küme indekslerinin bir listesidir. route_new(model, vector) yeni bir vektörün eğitilmiş model aracılığıyla yönlendiği küme indeksini (bir int) döndürür.

Senin sıran

İki fonksiyon yaz. cluster_route(vectors, k), vektörler üzerinde KMeans(n_clusters=k, random_state=0, n_init=10) uydurur ve bir (labels, model) döndürür: labels her vektör için bir küme indeksi içeren bir listedir ve model uydurulmuş tahmincidir. route_new(model, vector), yeni bir vektörün uydurulmuş modeli kullanarak yönlendiği küme indeksini (int) döndürür. İki net şekilde ayrılmış grup iki farklı kümeye düşmeli, yeni bir vektör en yakın merkeze yönlenmeli, farklı kümelerin sayısı k değerine eşit olmalı ve random_state=0 sayesinde sonuçlar tüm çalıştırmalarda aynı olmalı.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.