سرفصل‌ها درس 151 از 250 · امبدینگ‌ها و جستجوی معنایی از صفر
امبدینگ‌ها و جستجوی معنایی از صفر

خوشه‌بندی برای مسیریابی و حذف تکراری (KMeans)

وقتی متن‌ها به وکتور تبدیل می‌شوند، خوشه‌بندی دو وظیفه‌ای را که در سیستم‌های بزرگ زبان (LLM) مرتباً با آن‌ها مواجه می‌شوید، ممکن می‌سازد. مسیریابی معنایی: مثال‌های گفتاری را در خوشه‌ها گروه‌بندی کنید (صورتحساب، پشتیبانی فنی، فروش)، سپس پیام جدید را به دست‌اندرکاری ارسال کنید که پیام جدید به مرکز ثقل خوشه او نزدیک‌تر است. یافتن کپی‌های احتمالی: اسناد تقریباً یکسان در یک خوشه قرار می‌گیرند که محدوده جست‌وجو را مشخص می‌کند. اشتراک یک خوشه باعث نمی‌شود دو سند کپی محسوب شوند (یک خوشه می‌تواند صدها سند صرفاً مرتبط را در خود جای دهد)، بنابراین بررسی واقعی، اعمال آستانه شباهت بر هر جفت درون خوشه است، یا استفاده از تکنیکی مانند MinHash برای مجموعه‌های بزرگ.

KMeans اسب کار اصلی است. شما به آن می‌گویید چند خوشه k می‌خواهید؛ آن را پیدا می‌کند k مرکزها را پیدا می‌کند و هر بردار را به نزدیک‌ترین مرکز خود اختصاص می‌دهد. scikit-learn کار اصلی را انجام می‌دهد:

from sklearn.cluster import KMeans
model = KMeans(n_clusters=k, random_state=0, n_init=10)
labels = model.fit_predict(vectors)   # cluster index per input vector
model.cluster_centers_                 # the k centroids
model.predict(new_vector)              # route a NEW vector to a cluster

دو چیز در عمل این روش را موفق یا ناموفق می‌کند:

  • قابل‌پیش‌بینی بودن. KMeans از مرکزگروه‌های تصادفی شروع می‌کند، بنابراین باید random_state=0. بدون آن، همان داده‌ها می‌توانند در اجراهای مختلف برچسب‌های متفاوتی تولید کنند و مسیریابی شما غیرقابل بازتولید می‌شود. (خود مقادیر برچسب‌های عددی صرفاً نام‌های دلخواه هستند؛ آنچه اهمیت دارد این است که کدام نقاط یک برچسب را به اشتراک می‌گذارند.)
  • مسیر‌یابی یک نقطهٔ جدید از ... استفاده می‌کند predict روی مدل از پیش برازش‌شده، که آن را به نزدیک‌ترین مرکز ثقل اختصاص می‌دهد. شما مدل را دوباره برازش نمی‌کنید.

دو گروه نقطه‌ای که به‌خوبی از هم جدا شده‌اند باید در دو خوشهٔ تمیز قرار گیرند، و یک نقطهٔ جدید که در یکی از گروه‌ها قرار دارد باید به خوشهٔ آن گروه مسیریابی شود.

دو تابع بسازید. cluster_route(vectors, k) را بر مدل از پیش برازش‌شده اعمال می‌کند، که آن را به نزدیک‌ترین مرکز جرم اختصاص می‌دهد. شما مدل را KMeans(n_clusters=k, random_state=0, n_init=10) روی vectors و یک تپل بازمی‌گرداند (labels, model)، که labels یک لیست از شاخص‌های خوشه (یکی برای هر بردار ورودی) است. route_new(model, vector) شاخص خوشه (یک عدد صحیح) را که یک بردار جدید از طریق مدل برازش‌شده به آن هدایت می‌شود، بازمی‌گرداند.

نوبت شما

دو تابع بنویسید. cluster_route(vectors, k) مناسب است KMeans(n_clusters=k, random_state=0, n_init=10) روی بردارها عمل می‌کند و یک تپل بازمی‌گرداند (labels, model): labels یک لیست است که در هر بردار یک شاخص خوشه دارد، و model نمایندهٔ برازش‌شده است. route_new(model, vector) شاخص خوشه (integer) را بازمی‌گرداند که نشان می‌دهد یک بردار جدید با استفاده از مدل برازش‌شده به کدام خوشه هدایت می‌شود. دو گروه کاملاً جدا باید در دو خوشه متمایز قرار گیرند، یک بردار جدید باید به نزدیک‌ترین مرکز خوشه هدایت شود، و تعداد خوشه‌های متمایز باید برابر باشد با k، و نتایج باید به لطف random_state=0.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.