Pengelompokan untuk Routing & Dedup (KMeans)
Setelah teks jadi vektor, clustering membuka dua tugas yang sering kamu temui di sistem LLM. Routing semantik: kelompokkan contoh ucapan ke dalam klaster (penagihan, dukungan teknis, penjualan), lalu kirim pesan baru ke handler yang pusat klasternya paling dekat. Mencari duplikat kandidat: dokumen yang hampir identik masuk ke klaster yang sama, yang mempersempit tempat kamu harus mencari. Berbagi klaster tidak membuat dua dokumen jadi duplikat (satu klaster bisa menampung ratusan yang hanya terkait), jadi pengecekan sebenarnya adalah ambang batas kemiripan pada setiap pasangan di dalam klaster, atau teknik seperti MinHash untuk koleksi besar.
KMeans adalah pekerja kerasnya. Kamu beri tahu berapa banyak klaster k yang kamu mau; ia mencari k centroids dan menetapkan setiap vektor ke yang terdekat. scikit-learn melakukan tugas beratnya:
from sklearn.cluster import KMeans
model = KMeans(n_clusters=k, random_state=0, n_init=10)
labels = model.fit_predict(vectors) # cluster index per input vector
model.cluster_centers_ # the k centroids
model.predict(new_vector) # route a NEW vector to a clusterDua hal yang menentukan keberhasilan ini dalam praktiknya adalah:
- Determinisme. KMeans dimulai dari centroid acak, jadi kamu harus memasukkan
random_state=0. Tanpa itu, data yang sama bisa menghasilkan label berbeda pada setiap jalannya, dan routing kamu jadi tidak bisa direproduksi. (Nilai label integer itu sendiri adalah nama sembarang; yang penting adalah titik mana yang berbagi label yang sama.) - Merutekan titik baru menggunakan
predictpada model yang sudah pas, yang menetapkannya ke centroid terdekat. Kamu tidak melakukan refit.
Dua kelompok titik yang terpisah dengan baik harus jatuh ke dalam dua klaster yang bersih, dan titik baru yang berada di salah satu kelompok harus diarahkan ke klaster kelompok tersebut.
Buat dua fungsi. cluster_route(vectors, k) mencocokkan KMeans(n_clusters=k, random_state=0, n_init=10) pada vectors dan mengembalikan tuple (labels, model), di mana labels adalah daftar indeks klaster (satu untuk setiap vektor input). route_new(model, vector) mengembalikan indeks klaster (sebuah int) yang dituju oleh vektor baru melalui model yang sudah dicocokkan.
Tulis dua fungsi. cluster_route(vectors, k) mencocokkan KMeans(n_clusters=k, random_state=0, n_init=10) pada vektor dan mengembalikan tuple (labels, model): labels adalah list dengan satu indeks klaster per vektor, dan model adalah estimator yang dicocokkan. route_new(model, vector) mengembalikan indeks klaster (int) yang dituju vektor baru menggunakan model yang dicocokkan. Dua grup yang terpisah jelas harus masuk ke dalam dua klaster berbeda, vektor baru harus mengarah ke centroid terdekat, jumlah klaster berbeda harus sama dengan k, dan hasil harus identik di setiap jalannya berkat random_state=0.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.