المنهج الدراسي الدرس 151 من 250 · التضمينات والبحث الدلالي من الصفر
التضمينات والبحث الدلالي من الصفر

التجميع من أجل التوجيه وإزالة التكرار (KMeans)

بمجرد تحويل النص إلى ناقلات، تفتح عملية التجميع وظيفتين تواجههما باستمرار في أنظمة LLM. التوجيه الدلالي : تجميع عينات من العبارات في مجموعات (الفواتير، الدعم الفني، المبيعات)، ثم إرسال رسالة جديدة إلى المعالج الذي يقع مركز مجموعته أقرب إليها. إيجاد النسخ المكررة المرشحة : تستقر المستندات المتطابقة تقريبًا في نفس المجموعة، مما يضيق نطاق البحث. مشاركة المجموعة لا تجعل مستندين مكررين (يمكن أن تحتوي المجموعة على مئات المستندات ذات الصلة فقط)، لذا فإن الفحص الفعلي هو عتبة تشابه لكل زوج داخل المجموعة، أو تقنية مثل MinHash للمجموعات الكبيرة.

KMeans هو المحرك الأساسي. أنت تخبره بعدد المجموعات k التي تريدها؛ وهو يجد k centroids ويخصص كل vector لأقرب واحد منها. تقوم scikit-learn بالعمل الشاق:

from sklearn.cluster import KMeans
model = KMeans(n_clusters=k, random_state=0, n_init=10)
labels = model.fit_predict(vectors)   # cluster index per input vector
model.cluster_centers_                 # the k centroids
model.predict(new_vector)              # route a NEW vector to a cluster

أمران يحددان نجاح هذا أو فشله في الممارسة العملية:

  • الحتمية. تبدأ KMeans من مراكز عشوائية، لذا يجب عليك تمرير random_state=0. بدونها، يمكن لنفس البيانات أن تنتج تسميات مختلفة في عمليات تشغيل مختلفة، وتصبح عملية التوجيه غير قابلة لإعادة الإنتاج. (قيم تسميات الأعداد الصحيحة هي أسماء عشوائية؛ ما يهم هو أي النقاط تشترك في تسمية واحدة.)
  • توجيه نقطة جديدة يستخدم predict على النموذج الذي تم ضبطه بالفعل، والذي يخصصها لأقرب مركز. لا تقوم بإعادة الضبط.

يجب أن تقع مجموعتان منفصلتان جيداً من النقاط في عنقودين واضحين، ويجب أن تتوجه نقطة جديدة تقع في إحدى المجموعتين إلى عنقود تلك المجموعة.

قم ببناء دالتين. cluster_route(vectors, k) تناسب KMeans(n_clusters=k, random_state=0, n_init=10) على vectors وتعيد tuple (labels, model)، حيث labels هي قائمة بمؤشرات العناقيد (واحد لكل متجه إدخال). route_new(model, vector) تعيد مؤشر العنقود (an int) الذي يوجه إليه متجه جديد عبر النموذج الذي تمت ملاءمته.

دورك

اكتب دالتين. دالة cluster_route(vectors, k) تقوم بملاءمة KMeans(n_clusters=k, random_state=0, n_init=10) على المتجهات وتعيد زوجا (labels, model): labels هي قائمة تحتوي على مؤشر عنقود واحد لكل متجه، وmodel هو المقدر الملائم. دالة route_new(model, vector) تعيد مؤشر العنقود (int) الذي يوجه إليه متجه جديد باستخدام النموذج الملائم. يجب أن تقع مجموعتان منفصلتان بوضوح في عنقودين متمايزين، ويجب أن يوجه متجه جديد إلى أقرب مركز، ويجب أن يساوي عدد العناقيد المتمايزة k، ويجب أن تكون النتائج متطابقة عبر التشغيلات بفضل random_state=0.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.