سرفصل‌ها درس 168 از 250 · ارزیابی‌ها و آزمون‌های LLM
ارزیابی‌ها و آزمون‌های LLM

دقت در مقابل صحت/نرخ فراخوانی/F1 برای طبقه‌بندی

واقعاً بخش عظیمی از کارهای LLM طبقه‌بندیاین بلیت را مسیریابی کنید، این احساس را برچسب‌گذاری کنید، این پیام را به‌عنوان هرزنامه علامت‌گذاری کنید. برای آن‌ها، صرفاً دقت یک تله است. یک فیلتر هرزنامه برای صندوق پستی بسازید که ۹۵٪ پیام‌های غیرهرزنامه را تشخیص دهد و مدلی که برچسب‌گذاری می‌کند. همه چیز ham با دقت ۹۵٪ کار می‌کند در حالی که هیچ هرزنامه‌ای را دریافت نمی‌کند. این عدد عالی به نظر می‌رسد؛ اما محصول بی‌فایده است. برای اینکه این را ببینید، باید دقت، فراخوانی و F1 را برای کلاسی که واقعاً برایتان مهم است تفکیک کنید.

یک را انتخاب کن مثبت کلاس (بگو) spam) و چهار سطل را بشمارید:

  • تی‌پی مثبت‌های واقعی: پیش‌بینی شده اسپم، واقعاً اسپم بود.
  • FP مثبت‌های کاذب: ایمیل خوب که به‌عنوان اسپم پیش‌بینی شده و به پوشهٔ زباله فرستاده شده است.
  • اف‌ان منفی‌های کاذب: چیزی که به‌عنوان هم پیش‌بینی شده بود، در واقع اسپم بود (اسپمی که از صافی رد شده بود).
precision = TP / (TP + FP)   # of what I flagged, how much was right
recall    = TP / (TP + FN)   # of the real positives, how many I caught
f1        = 2 * P * R / (P + R)
accuracy  = correct / total  # all classes, all predictions

این‌ها در جهت‌های مختلف نیرو وارد می‌کنند. اگر برچسب‌گذاری به‌صورت تهاجمی انجام شود، نرخ فراخوانی افزایش می‌یابد در حالی که دقت کاهش می‌یابد؛ و اگر به‌صورت محافظه‌کارانه انجام شود، برعکس. F1 تنها عددی است که اجازه نمی‌دهد هیچ‌یک فرو بریزد. در یک مجموعه نامتعادل، دقت و F1 به‌شدت از هم فاصله می‌گیرند، که دقیقاً هدف محاسبهٔ جداگانهٔ آن‌هاست.

شما این‌ها را به‌صورت دستی پیاده‌سازی خواهید کرد، چون دانستن فرمول‌ها به‌خاطر‌سپاری برای مصاحبه‌ها ارزش دارد. اما هرگز نباید کشتی وقتی یک کتابخانهٔ آزمایش‌شده وجود دارد، معیارهای دست‌پیچ‌شده را بررسی می‌کند، بنابراین تست‌ها همچنین اعداد شما را با آن مقایسه می‌کنند. اسکیت‌لرن's precision_score, recall_scoreو f1_scoreاگر با sklearn مطابقت داشته باشید، آن را درست پیاده‌سازی کرده‌اید.

from sklearn.metrics import precision_score, recall_score, f1_score
precision_score(y_true, y_pred, pos_label="spam")

چه چیزی بسازیم. classification_metrics(y_true, y_pred, positive_label) بازگرداندن یک دیکت {"accuracy", "precision", "recall", "f1"}، هر یک roundبه چهار رقم اعشار گرد شده است. برای محافظت از موارد ضریب صفر (بدون پیش‌بینی مثبت، بدون مثبت واقعی)، با بازگرداندن 0.0 برای آن معیار به جای تقسیم بر صفر. فشار دهید دویدن برای چاپ یک گزارش و مشاهده اینکه دقت و F1 در یک مجموعه نامتعادل با هم اختلاف دارند.

نوبت شما

نوشتن classification_metrics(y_true, y_pred, positive_label) بازگشت {'accuracy', 'precision', 'recall', 'f1'} برای کلاس مثبت انتخاب‌شده، هر roundبه چهار رقم اعشار گرد شده است. شمارش TP/FP/FN در مقابل positive_label; precision = TP/(TP+FP), recall = TP/(TP+FN), f1 = میانگین هارمونیک، accuracy = correct/total. بازگردانید 0.0 برای هر معیاری که مخرج آن صفر باشد. اعداد شما باید با اعداد scikit-learn مطابقت داشته باشند. precision_score/recall_score/f1_score.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.