سرفصل‌ها درس 170 از 250 · ارزیابی‌ها و آزمون‌های LLM
ارزیابی‌ها و آزمون‌های LLM

یک گیت رگرسیون فوری

شما نمره‌دهنده دارید (مatching دقیق، F1، یک داور LLM). بخش آخر آن‌ها را به یک گیت تبدیل می‌کند: یک تصمیم بله/خیر که CI شما روی هر تغییر prompt اجرا می‌کند تا یک «تغییر کوچک» هرگز نتواند بی‌سروصدا اوضاع را بدتر کند. این تفاوت بین اندازه‌گیری کیفیت و دفاع از آن است.

(«ریگریشن» در اینجا به معنای تغییر به سمت بدتر است، در معنای روزمره نرم‌افزاری، نه تکنیک مدل‌سازی از ماژول یادگیری ماشین.)

شما دو اجرا را روی همان مجموعه ارزیابی مقایسه می‌کنید: خط پایه (پرامپت در تولید) و کاندیدا (تغییر شما)، به صورت دو لیست از امتیازات برای هر مثال در [0, 1]. این دروازه تغییر را مسدود می‌کند مگر اینکه سه شرط را برآورده کند:

  • افت کلی وجود ندارد: میانگین امتیاز کاندیدا حداقل به اندازه میانگین پایه است (یک تلرانس کوچک نویز را جذب می‌کند).
  • تعداد اندکی شکست جدید: تعداد مثال‌هایی که در آن‌ها امتیاز کاندیدا از پایه پایین‌تر است، در محدوده یک بودجه باقی می‌ماند (یک موفقیت بزرگ نباید چندین پسرفت خاموش را پنهان کند).
  • یک کف: حداقل مطلق میانگین، در صورتی که آن را تعیین کنید.

ساخت regression_gate(baseline, candidate, tol=0.01, max_regressions=0, min_mean=None) بازگرداندن یک دیکشنری گزارش با baseline_mean, candidate_mean, delta (نامزد منهای مبنا)، regressions (تعداد شاخص‌هایی که در آنها candidate[i] < baseline[i] - 1e-9)، و passed (یک بولین، فقط وقتی که ALL نوارها پاک شوند مقدار True دارد). این دو لیست طول یکسانی دارند. برای نمایش پنجرهٔ کاندید، روی Run کلیک کنید.

نوبت شما

نوشتن regression_gate(baseline, candidate, tol=0.01, max_regressions=0, min_mean=None) دو لیست با طول‌های برابر از نمرات هر نمونه. بازگردانید {"baseline_mean", "candidate_mean", "delta", "regressions", "passed"} که delta = candidate_mean - baseline_mean, regressions شاخص‌هایی را که candidate[i] < baseline[i] - 1e-9، و passed فقط زمانی true است که candidate_mean >= baseline_mean - tol AND regressions <= max_regressions AND (min_mean is None یا candidate_mean >= min_mean).

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.