سرفصل‌ها درس 238 از 250 · پروژه: ارزیابی سریع CI
پروژه: ارزیابی سریع CI

دروازه رگرسیون

این فینال است و سندی در رزومه‌ی شما: یک سازوکار prompt-eval + دروازه رگرسیون ساخت. شما نمره‌دهنده (درس ۱) و پارسر داور (درس ۲) دارید. اکنون قطعه‌ای را که آن را ممکن می‌سازد، سیم‌کشی می‌کنید. CI: دروازه‌ای که با هر تغییر ورودی اجرا می‌شود و در صورت افت کیفیت، ادغام را مسدود می‌کند. این چیزی است که مانع می‌شود «اصلاح کوچک» یک هم‌تیمی به‌طور پنهانی دقت را در تولید تخریب کند - بازبین خودکار که هرگز خسته نمی‌شود.

مدل: شما یک مجموعهٔ طلایی دارید و دو نسخه از یک ورودی که هر کدام فهرستی از پیش‌بینی‌ها را بر روی آن مجموعه تولید می‌کنند. دقت در اینجا به‌سادگی نسبت پیش‌بینی‌هایی است که دقیقاً با پاسخ طلایی (بدون حذف) مطابقت دارند. ابتدا آن‌ها را مقایسه کنید:

  • compare(v1_preds, v2_preds, golds) -> {"v1": acc1, "v2": acc2, "delta": acc2 - acc1}، که در آن هر دقت، نرخ تطابق دقیق در برابر golds و delta این میزان تغییر v2 نسبت به v1 است. دلتای مثبت به معنای بهبود کاندیدا است؛ دلتای منفی به معنای پسرفت آن.

سپس خودِ دروازه. در CI شما روی نویز مسدود نمی‌کنید -> a min_delta آستانه اجازه می‌دهد یک نامزد به میزان اندک و قابل‌تحملی کاهش یابد (اغلب 0.0، به معنای «نباید بدتر شود») قبل از اینکه رد شود:

  • gate(baseline, candidate, min_delta) -> baseline و candidate هر یک یک هستند (preds, golds) جفت. هر دو را به‌عنوان دقت تطابق دقیق امتیازدهی کنید، محاسبه کنید delta = candidate_acc - baseline_acc، و بازگشت {"pass": bool, "delta": delta, "report": str}. دروازه می‌گذرد چه زمانی delta >= min_delta و ناکام می‌ماند در غیر این صورت

آن report یک خط کد قابل‌خواندن برای انسان است که توسعه‌دهنده در لاگ CI می‌بیند. برای مثال، آن را طوری بنویسید که نتیجه و اعداد را بیان کند. "PASS: delta +0.100 (baseline 0.800 -> candidate 0.900), threshold 0.000" یا یک FAIL: ... متغیر. آزمون‌ها بررسی می‌کنند که گزارش با PASS یا FAIL هماهنگ‌سازی بولین و ذکر هر دو دقت، بنابراین عبارت دقیق با شماست اما حقایق باید در آن گنجانده شوند.

به طور مشخص: یک خط مبنا در 0.8 و یک نامزد در 0.6 با min_delta=0.0 -> delta -0.2، دروازه ناکام می‌ماند، ادغام مسدود است. آن‌ها را جابجا کنید و کاندید بهبود می‌یابد -> دروازه می‌گذرد. آن یک بولین واحد همان چیزی است که به CI وصل می‌کنید تا «prompt به نظر بهتر است» را به «prompt به‌طور اثبات‌شده بدتر نیست، یا build قرمز است» تبدیل کند. فشار دهید دویدن برای گیت کردن یک بهبود و یک رگرسیون.

نوبت شما

دروازه رگرسیون CI را بسازید. تابع compare(v1_preds, v2_preds, golds) را بنویسید که {"v1", "v2", "delta"} را بازگردانَد، جایی که هر مقدار دقت تطابق دقیق (کسر پیش‌بینی‌های برابر با gold بدون برچسب) است و delta = v2 - v1. تابع gate(baseline, candidate, min_delta) را بنویسید که دو جفت (preds, golds) را گرفته و {"pass": bool, "delta": float, "report": str} را بازگردانَد، اگر و تنها اگر delta >= min_delta برقرار باشد. گزارش باید با PASS/FAIL (مطابق با مقدار بولین) آغاز شود و هر دو دقت را ذکر کند، هر یک با سه رقم اعشاری ("%.3f"، بنابراین 0.5 به صورت 0.500 نمایش داده می‌شود). یک رگرسیون باید در گیت شکست بخورد؛ یک بهبود باید عبور کند.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.