سرفصل‌ها درس 163 از 250 · ارزیابی RAG و بازیابی
ارزیابی RAG و بازیابی

NDCG@k: اهمیت درجه‌بندی‌شده

دقت، فراخوانی و MRR همگی اهمیت را به‌صورت یک پرچم بله/خیر در نظر می‌گیرند. اما اهمیت واقعی طیفی دارد: یک سند می‌تواند عالی، تا حدی مفید یا خارج از موضوع باشد. NDCG (Normalized Discounted Cumulative Gain) معیار اهمیت درجه‌بندی‌شده است و دقیقاً همان متریک است که تیم‌های بزرگ جستجو و پیشنهاد در واقع گزارش می‌کنند.

این معیار سه ایده را روی هم قرار می‌دهد. اول، سود: هر نتیجه نمره‌ای برای مرتبط بودن دارد (مثلاً ۳ = عالی، ۱ = حداقلی، ۰ = نامرتبط). دوم، تخفیفی بر اساس رتبه، زیرا یک نتیجه عالی که در رتبه ۱۰ پنهان شده باشد، کمتر از نتیجه‌ای که در رتبه ۱ قرار دارد کمک می‌کند. «جمع امتیازات تعدیل‌شده» (Discounted Cumulative Gain) حاصل ضرب هر امتیاز در ضریب تعدیل است که بر اساس رتبه مرتب شده‌اند. log2(position + 1):

DCG = sum( rel_i / log2(i + 1) )   for i = 1, 2, 3, ...

در موقعیت ۱، مخرج عبارت است از log2(2) = 1 (بدون تخفیف)؛ و به همین ترتیب، بنابراین موقعیت‌های بعدی به طور پیوسته ارزش کمتری دارند. سوم، نرمال‌سازی: DCG به خودی خود نامحدود است و مقایسه آن در سؤالات مختلف دشوار است، بنابراین بر ایده‌آل DCG (IDCG)، یعنی DCG‌ای که در صورت وجود نتیجهٔ بی‌نقص log2(3)؛ و به همین ترتیب، موقعیت‌های بعدی به طور پیوسته ارزش کمتری دارند. سوم، نرمال‌سازی: DCG به خودی خود نامحدود است و مقایسه آن در سؤالات مختلف دشوار است، بنابراین آن را بر DCG ایده‌آل (IDCG) تقسیم می‌کنند، یعنی همان DCG‌ای که اگر همان امتیازات مرتبط بودن از بهترین تا بدترین مرتب می‌شدند، به دست می‌آمد.

NDCG@k = DCG(top k) / DCG(ideal ordering of the same scores, top k)

این کار هر پرس‌وجو را بر یک 0.0 تا 1.0 مقیاسی که 1.0 به معنای «از قبل در بهترین ترتیب ممکن» است. یک رتبه‌بندی معکوس به‌طور قاطع پایین‌تر از 1.0؛ یک رتبه‌بندی کاملاً صفر (هیچ چیز مرتبط) به صورت تعریف می‌شود 0.0.

چه چیزی باید ساخته شود.

  • dcg(rels) -> سود تجمعی تنزیل‌شده‌ی فهرستی از نمره‌های مرتبط بودن، با استفاده از math.log2(i + 1) با i شروع از ۱.
  • ndcg_at_k(ranked_rels, k) -> dcg از بالای k تقسیم بر dcg از همان امتیازات مرتب‌شده نزولی (ایده‌آل)، برتر k. اگر DCG ایده‌آل باشد 0، بازگردانید 0.0 به جای تقسیم بر صفر.

یکی را به‌صورت دستی بررسی کنید: dcg([3, 0, 2]) است 3/log2(2) + 0/log2(3) + 2/log2(4) = 3 + 0 + 1 = 4.0. دکمه Run را فشار دهید تا یک مرتب‌سازی کامل را با مرتب‌سازی معکوس مقایسه کنید.

نوبت شما

نوشتن dcg(rels) بازگشت سود تجمعی تنزیل‌شده sum(rel_i / log2(i + 1)) با موقعیت‌ها i شمارش شده از ۱. سپس بنویسید ndcg_at_k(ranked_rels, k, ideal_rels=None) بازگشت dcg از بالا k تقسیم بر DCG ایده‌آل: امتیازات مرتبط بودن هر سند داوری‌شده، مرتب‌شده نزولی، برتر k. این‌ها از ideal_rels وقتی داده شود؛ وقتی که None، استفاده کنید ranked_rels خودش (تنها زمانی مناسب است که رتبه‌بندی از قبل شامل همهٔ اسناد مرتبط باشد). گرفتن امتیاز ایده‌آل تنها از فهرست بازیابی‌شده یک باگ کلاسیک است: سیستمی که از میان ۳ سند مرتبط، یکی را در رتبهٔ ۱ پیدا کند، امتیاز کامل ۱.۰ را کسب می‌کند. بازگردان 0.0 زمانی که DCG ایده‌آل 0 است، بنابراین رتبه‌بندی تماماً صفر به صفر تقسیم نمی‌شود.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.