سرفصل‌ها درس 161 از 250 · ارزیابی RAG و بازیابی
ارزیابی RAG و بازیابی

دقت@k و فراخوانی@k

قبل از اینکه حتی یک پرامپت را تنظیم کنید، به سؤال سخت‌تری پاسخ دهید: آیا سیستم بازیابی اصلاً اسناد درست را پیدا می‌کند؟ یک سیستم RAG دو بخش دارد: بازیابی و تولید، و هر کدام به شیوه‌های متفاوتی شکست می‌خورند. اگر بخش‌های اشتباه بازگردند، هیچ میزان صیقل‌دادن پرامپت کمکتان نمی‌کند. پس بازیابی را به‌تنهایی می‌سنجیم، در برابر مجموعه‌ای برچسب‌خورده از سند مرتبط برای هر پرس‌وجو، با دو عددی که هر مهندس جست‌وجو از بر است.

Precision@k می‌پرسد: از میان k سند برتر که بازگرداندم، چه بخشی واقعاً مرتبط بود؟ این معیار «چه مقدار اطلاعات بی‌ربط به کاربر نشان دادم» است.

precision@k = (relevant docs in the top k) / (number of docs in the top k)

Recall@k سؤال مخالف را می‌پرسد: از میان تمام اسنادی که مرتبط بودند، چه بخشی را توانستم در میان نتایج برتر به نمایش بگذارم؟k این معیار «چه مقدار را از دست دادم» است.

recall@k = (relevant docs in the top k) / (total number of relevant docs)

یک مثال ملموس در نظر بگیرید. شما ["a", "b", "c"] را بازیابی می‌کنید و مجموعه مرتبط {"a", "c"} است. در k=3، دو تا از سه سند بازگردانده‌شده مرتبط هستند، بنابراین دقت 2/3 است. هر دو سند مرتبط یافت شدند، بنابراین بازخوانی 1.0 است. این دو با هم در تعادل هستند: با گسترش k، بازخوانی افزایش می‌یابد در حالی که دقت معمولاً کاهش می‌یابد.

چه باید ساخت. دو تابع خالص:

  • precision_at_k(retrieved, relevant, k) -> کسری از شناسه‌های بازیابی‌شده در k که در relevant هستند. تقسیم بر تعداد اسنادی که واقعاً در k دارید (تا یک فهرست کوتاه یا یک k بزرگ هرگز بر عدد اشتباه تقسیم نشود).
  • recall_at_k(retrieved, relevant, k) -> کسری از relevant که در k برتر گرفته شده است، تقسیم بر len(relevant).

به لبه‌ها توجه کنید که تست‌ها بررسی می‌کنند: k بزرگ‌تر از لیست بازیابی‌شده، و یک مجموعه مرتبط خالی (0.0 را بازگردانید، هرگز بر صفر تقسیم نکنید). از relevant به‌عنوان یک مجموعه برای عضویت سریع استفاده کنید. در یک ابزار واقعی، خروجی ذخیره‌گاه برداری خود را به این‌ها وارد می‌کنید؛ در اینجا آن‌ها مستقیماً بر روی فهرست‌های برچسب‌خورده درجه‌بندی شده‌اند.

یک نکته در مورد دامنه: این ماژول Precision@k، Recall@k، MRR و NDCG را پوشش می‌دهد. تیم‌های جستجو اغلب همچنین گزارش MAP (میانگین دقت) را ارائه می‌دهند که میانگین دقت اندازه‌گیری‌شده در هر نتیجه مرتبط را در سراسر مجموعه پرس‌وجو محاسبه می‌کند؛ این چهار معیار رایج‌ترین نقطه شروع هستند.

دکمه را فشار دهید و را اجرا کنید تا یک رتبه‌بندی را امتیازدهی کنید.

نوبت شما

نوشتن precision_at_k(retrieved, relevant, k) (کسرِ بالایی k شناسهٔ بازیابی‌شده‌ای که در relevant مجموعه، تقسیم بر تعداد اسناد واقعی در بالای k) و recall_at_k(retrieved, relevant, k) (کسر از relevant مجموعه‌ای که در بالای نتایج به دست آمده است k، تقسیم بر len(relevant)). هر دو باید بازگردانند 0.0 روی لبه‌های خالی (بازگردانی خالی، مجموعه مرتبط خالی) به جای کرش کردن.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.