سرفصل‌ها درس 164 از 250 · ارزیابی RAG و بازیابی
ارزیابی RAG و بازیابی

کاپ‌استون: گزارش ارزیابی بازیابی

شما چهار معیار را دارید. حالا آن‌ها را به چیزی که یک مهندس واقعاً تحویل می‌دهد، وصل کنید: یک گزارش ارزیابی بازیابی که یک مجموعه پرس‌وجوی برچسب‌خورده را از طریق یک بازیاب اجرا می‌کند و یک کارت امتیاز را بازمی‌گرداند. این همان محصولی است که پشت عبارت رزومه‌ای «ساخت و ارزیابی یک خط لوله RAG» قرار دارد و به شما امکان می‌دهد بگویید «retriever جدید MRR را از ۰.۶۲ به ۱.۰ رساند» به‌جای «احساس بهتری دارد.»

هارنس سه قسمت متحرک دارد. یک ارزیابی مجموعه فهرستی از موارد است که هر کدام شبیه یک dict هستند. {"query": "refund policy", "relevant": {"d_refund"}}. A ریتریور آیا قابل فراخوانی است retriever(query, k) که فهرستی مرتب‌شده از شناسه‌های سند بازمی‌گرداند (شما آن را ارسال می‌کنید تا همان گزارش بتواند یک معیار پایه BM25، یک بازیاب متراکم یا یک مدل ترکیبی را نمره‌دهی کند). و گزارش هر پرس‌وجو را بر اساس هر چهار معیار امتیازدهی می‌کند، سپس نتایج را تجمیع می‌کند.

def evaluate_retrieval(eval_set, retriever, k):
    rows = []
    failures = []
    for case in eval_set:
        retrieved = retriever(case["query"], k)
        # score this query: P@k, R@k, RR, NDCG@k
        # if the reciprocal rank is 0.0, the retriever missed -> record a failure
        ...
    # roll rows into a pandas DataFrame, then return the means + the frame + failures
    ...

برای NDCG بر روی شناسه‌های بازیابی‌شده، رتبه‌بندی را به سادگی به مرتبط‌بودن درجه‌ای تبدیل کنید: یک سند امتیاز می‌گیرد 1 اگر در مجموعه مربوطه باشد، در غیر این صورت 0. توابع ساخته‌شده را دوباره استفاده کنید: precision_at_k, recall_at_k, reciprocal_rank, dcgو ndcg_at_k.

چه چیزی بسازیم. evaluate_retrieval(eval_set, retriever, k) بازگرداندن یک دیکت با:

  • mean_precision_at_k, mean_recall_at_k, mrr, mean_ndcg_at_k -> میانگین هر معیار در میان پرس‌وجوها، هر یک roundبه ۴ مکان
  • per_query -> یک pandas.DataFrame، یک ردیف برای هر پرس‌وجو، که معیارهای آن پرس‌وجو را حمل می‌کند (تا بتوانید با نگاه کردن تشخیص دهید کدام پرس‌وجو عملکرد ضعیفی داشته است).
  • failures -> فهرستی از پرس‌وجوهایی که رتبه معکوسشان بود 0.0 (ریتریور هیچ چیز مرتبطی را پیدا نکرد). این فهرست کارهای اشکال‌زدایی شماست.

گریدر اعداد تجمعی را با مقادیر محاسبه شده دستی بررسی می‌کند، نام‌های فهرست خطا را تأیید می‌کند، پرس‌وجوی کشف‌نشده را نام می‌برد و اثبات می‌کند a امتیازات رتریور بهتر، به‌طور قاطع بالاتر -> بررسی رابطه‌ای که هیچ ثابت نمی‌تواند آن را جعل کند. در یک سیستم کامل، مدل اکنون از میان بخش‌هایی که رتریور برنده بازگردانده پاسخ می‌دهد، اما آن مرحله تولید پاسخ نیمهٔ دیگر خط لوله است؛ اینجا شما صرفاً رتریوری را بر اساس خودِ آن ارزیابی می‌کنید. فشار دهید دویدن چاپ کارت امتیاز

نوبت شما

نوشتن evaluate_retrieval(eval_set, retriever, k). The eval_set فهرستی از {"query", "relevant"} واژه‌نامه‌ها؛ retriever(query, k) یک فهرست مرتب‌شده از شناسه‌های سند بازمی‌گرداند. برای هر پرس‌وجو، امتیاز precision_at_k, recall_at_k, reciprocal_rank، و ndcg_at_k (یک سند بازیابی‌شده را اگر در مجموعه مرتبط باشد به‌عنوان 1 از نظر مرتبط بودن در نظر بگیرید، در غیر این صورت 0، و ایده‌آل را از کل مجموعه مرتبط بسازید: یک 1 برای هر سند مرتبط). یک dict با mean_precision_at_k, mean_recall_at_k, mrr, mean_ndcg_at_k (هر کدام تا 4 رقم اعشار گرد شده)، یک per_query DataFrame در پانداس (یک سطر برای هر پرس‌وجو)، و یک failures فهرستی از هر پرس‌وجویی که رتبه معکوس آن 0.0 بوده است.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.