التجميع من أجل التوجيه وإزالة التكرار (KMeans)
بمجرد تحويل النص إلى ناقلات، تفتح عملية التجميع وظيفتين تواجههما باستمرار في أنظمة LLM. التوجيه الدلالي : تجميع عينات من العبارات في مجموعات (الفواتير، الدعم الفني، المبيعات)، ثم إرسال رسالة جديدة إلى المعالج الذي يقع مركز مجموعته أقرب إليها. إيجاد النسخ المكررة المرشحة : تستقر المستندات المتطابقة تقريبًا في نفس المجموعة، مما يضيق نطاق البحث. مشاركة المجموعة لا تجعل مستندين مكررين (يمكن أن تحتوي المجموعة على مئات المستندات ذات الصلة فقط)، لذا فإن الفحص الفعلي هو عتبة تشابه لكل زوج داخل المجموعة، أو تقنية مثل MinHash للمجموعات الكبيرة.
KMeans هو المحرك الأساسي. أنت تخبره بعدد المجموعات k التي تريدها؛ وهو يجد k centroids ويخصص كل vector لأقرب واحد منها. تقوم scikit-learn بالعمل الشاق:
from sklearn.cluster import KMeans
model = KMeans(n_clusters=k, random_state=0, n_init=10)
labels = model.fit_predict(vectors) # cluster index per input vector
model.cluster_centers_ # the k centroids
model.predict(new_vector) # route a NEW vector to a clusterأمران يحددان نجاح هذا أو فشله في الممارسة العملية:
- الحتمية. تبدأ KMeans من مراكز عشوائية، لذا يجب عليك تمرير
random_state=0. بدونها، يمكن لنفس البيانات أن تنتج تسميات مختلفة في عمليات تشغيل مختلفة، وتصبح عملية التوجيه غير قابلة لإعادة الإنتاج. (قيم تسميات الأعداد الصحيحة هي أسماء عشوائية؛ ما يهم هو أي النقاط تشترك في تسمية واحدة.) - توجيه نقطة جديدة يستخدم
predictعلى النموذج الذي تم ضبطه بالفعل، والذي يخصصها لأقرب مركز. لا تقوم بإعادة الضبط.
يجب أن تقع مجموعتان منفصلتان جيداً من النقاط في عنقودين واضحين، ويجب أن تتوجه نقطة جديدة تقع في إحدى المجموعتين إلى عنقود تلك المجموعة.
قم ببناء دالتين. cluster_route(vectors, k) تناسب KMeans(n_clusters=k, random_state=0, n_init=10) على vectors وتعيد tuple (labels, model)، حيث labels هي قائمة بمؤشرات العناقيد (واحد لكل متجه إدخال). route_new(model, vector) تعيد مؤشر العنقود (an int) الذي يوجه إليه متجه جديد عبر النموذج الذي تمت ملاءمته.
اكتب دالتين. دالة cluster_route(vectors, k) تقوم بملاءمة KMeans(n_clusters=k, random_state=0, n_init=10) على المتجهات وتعيد زوجا (labels, model): labels هي قائمة تحتوي على مؤشر عنقود واحد لكل متجه، وmodel هو المقدر الملائم. دالة route_new(model, vector) تعيد مؤشر العنقود (int) الذي يوجه إليه متجه جديد باستخدام النموذج الملائم. يجب أن تقع مجموعتان منفصلتان بوضوح في عنقودين متمايزين، ويجب أن يوجه متجه جديد إلى أقرب مركز، ويجب أن يساوي عدد العناقيد المتمايزة k، ويجب أن تكون النتائج متطابقة عبر التشغيلات بفضل random_state=0.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.