سرفصل‌ها درس 236 از 250 · پروژه: ارزیابی سریع CI
پروژه: ارزیابی سریع CI

ست طلایی + گل‌زنان

شما یک دستور جدید ارسال کردید و آن احساس می‌شود بهتر. سرپرست تیم شما تنها سؤالی را می‌پرسد که اهمیت دارد: چقدر بهتر؟ و چطور می‌دانی؟ «ویب‌ها» در بازبینی کد دوام نمی‌آورند. کار این است که یک ادعا مبهم را به عددی تبدیل کنید که بتوانید از آن دفاع کنید، و بنیاد هر چارچوب ارزیابی پرس‌وجو یک مجموعه طلایی (فهرستی از ورودی‌ها همراه با پاسخ‌های صحیح شناخته‌شدهٔ آن‌ها) به‌علاوهٔ یک گلزن (تابعی که نشان می‌دهد پاسخ یک مدل چقدر به پاسخ مرجع نزدیک است).

این درس اول از یک پروژه سه‌قسمتی است. تا پایان این ماژول شما یک واقعی خواهید داشت. چارچوب ارزیابی فوری با دروازه رگرسیون CI -> از آن نوع چیزهایی که یک مدیر استخدام وقتی در رزومه می‌بیند «ساخته یک چارچوب ارزیابی prompt-eval + دروازه رگرسیون» فوراً می‌فهمد شما می‌توانید ویژگی‌های LLM را مسئولانه عرضه کنید. امروز شما معیار سنجش را می‌سازید: سه نمره‌دهنده و یک اجراکننده که یکی از آن‌ها را روی کل مجموعه طلایی اعمال می‌کند.

یک نکته صادقانه درباره دامنه: ساختار و منطق درگاه رگرسیون که اینجا می‌سازید واقعی و قابل انتقال است، اما مدل داور شبیه‌سازی شده و «دقت» در اینجا به معنای تطابق دقیق است. در یک پروژه واقعی، همین قطعات را به یک مدل داور واقعی و امتیازدهندگان غنی‌تر متصل می‌کنید.

وظایف مختلف به نمره‌دهندگان متفاوتی نیاز دارند، بنابراین شما سه نمره‌دهنده می‌سازید:

  • score_exact(pred, gold) -> 1.0 اگر پیش‌بینی پس از یک برابر پاسخ طلایی باشد .strip() روی هر دو، در غیر این صورت 0.0. این انتخاب درستی برای یک طبقه‌بندی‌کننده («مثبت» در مقابل «منفی») است که تنها تطابق دقیق در آن اهمیت دارد.
  • score_contains(pred, gold) -> 1.0 اگر رشتهٔ طلایی در هر نقطه‌ای از پیش‌بینی ظاهر شود (بدون توجه به حروف بزرگ/کوچک، هر دو خالی)، در غیر این صورت 0.0. مناسب برای بررسی «آیا پاسخ به نکتهٔ کلیدی اشاره کرده است؟» در مواقعی که کلمات اضافی اشکالی ندارند.
  • token_f1(pred, gold) -> یک امتیاز جزئی امتیاز کسب کردن [0.0, 1.0] بر اساس هم‌پوشانی واژگان، ابزار اصلی برای پاسخ‌های متن آزاد که در آن یک پاسخ تقریبی باید بر یک پاسخ کاملاً اشتباه برتری داشته باشد.

توکن F1 چگونه کار می‌کند. هر دو رشته را با حروف کوچک به توکن‌های کلمه‌ای تقسیم کنید. ببینید چند توکن مشترک دارند، با احتساب تکرارها (فهرست توکن‌ها را به‌عنوان چندمجموعه در نظر بگیرید، بنابراین collections.Counter و آن & تقاطع دوست شماست). سپس:

overlap   = sum((Counter(pred_tokens) & Counter(gold_tokens)).values())
precision = overlap / len(pred_tokens)   # of the words I said, how many were right?
recall    = overlap / len(gold_tokens)   # of the words I should have said, how many did I?
f1        = 2 * precision * recall / (precision + recall)

مثال کارشده: pred="the quick brown fox", gold="the lazy brown dog". آنها به اشتراک می‌گذارند the و brown -> همپوشانی ۲. دقت است 2/4, فراخوانی است 2/4، بنابراین F1 است 0.5. به لبه‌ها توجه کنید: اگر در هر یک از دو طرف هیچ توکنی نباشد، یا تداخل صفر باشد، F1 است 0.0 (هرگز تقسیم بر صفر نکنید).

سرانجام، آن دویه‌ای که یک امتیازآور را به یک ارزیابی تبدیل می‌کند:

  • run_suite(predictions, golds, scorer) -> هر کدام را نمره دهید (pred, gold) با مورد داده شده جفت کنید scorer تابع و بازگشت {"score": mean_score, "per_case": [list of each case's score]}میانگین بر روی یک سوئیت خالی است 0.0.

واگذاری به گلزن در (به‌جای هاردکد کردن آن) طرحی است که به شما امکان می‌دهد از طبقه‌بندی‌کننده‌های تطابق دقیق درجه‌ای و پاسخ‌های متن آزاد به‌طور یکسان بهره‌برداری کنید. فشار دهید دویدن امتیاز گرفتن برای یک مجموعه طلایی کوچک به سه روش مختلف.

نوبت شما

هستهٔ امتیازدهی یک چارچوب ارزیابی پرس‌وجو را بسازید. score_exact(pred, gold) را بنویسید (1.0 اگر تطبیق دقیق حذف‌شده باشد، در غیر این صورت 0.0)، score_contains(pred, gold) را بنویسید (1.0 اگر طلای حذف‌شده و کوچک‌شده زیرمجموعه‌ای از پیش‌بینی باشد، در غیر این صورت 0.0)، و token_f1(pred, gold) را بنویسید (F1 هم‌پوشانی توکن‌ها بر روی توکن‌های کلمات کوچک‌شده، 0.0 وقتی هر دو طرف خالی باشد یا هیچ هم‌پوشانی وجود نداشته باشد). سپس run_suite(predictions, golds, scorer) را بنویسید که {"score": mean, "per_case": [scores]} را بازمی‌گرداند (میانگین 0.0 روی یک مجموعه خالی).

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.