دروازه رگرسیون
این فینال است و سندی در رزومهی شما: یک سازوکار prompt-eval + دروازه رگرسیون ساخت. شما نمرهدهنده (درس ۱) و پارسر داور (درس ۲) دارید. اکنون قطعهای را که آن را ممکن میسازد، سیمکشی میکنید. CI: دروازهای که با هر تغییر ورودی اجرا میشود و در صورت افت کیفیت، ادغام را مسدود میکند. این چیزی است که مانع میشود «اصلاح کوچک» یک همتیمی بهطور پنهانی دقت را در تولید تخریب کند - بازبین خودکار که هرگز خسته نمیشود.
مدل: شما یک مجموعهٔ طلایی دارید و دو نسخه از یک ورودی که هر کدام فهرستی از پیشبینیها را بر روی آن مجموعه تولید میکنند. دقت در اینجا بهسادگی نسبت پیشبینیهایی است که دقیقاً با پاسخ طلایی (بدون حذف) مطابقت دارند. ابتدا آنها را مقایسه کنید:
compare(v1_preds, v2_preds, golds)->{"v1": acc1, "v2": acc2, "delta": acc2 - acc1}، که در آن هر دقت، نرخ تطابق دقیق در برابرgoldsوdeltaاین میزان تغییر v2 نسبت به v1 است. دلتای مثبت به معنای بهبود کاندیدا است؛ دلتای منفی به معنای پسرفت آن.
سپس خودِ دروازه. در CI شما روی نویز مسدود نمیکنید -> a min_delta آستانه اجازه میدهد یک نامزد به میزان اندک و قابلتحملی کاهش یابد (اغلب 0.0، به معنای «نباید بدتر شود») قبل از اینکه رد شود:
gate(baseline, candidate, min_delta)->baselineوcandidateهر یک یک هستند(preds, golds)جفت. هر دو را بهعنوان دقت تطابق دقیق امتیازدهی کنید، محاسبه کنیدdelta = candidate_acc - baseline_acc، و بازگشت{"pass": bool, "delta": delta, "report": str}. دروازه میگذرد چه زمانیdelta >= min_deltaو ناکام میماند در غیر این صورت
آن report یک خط کد قابلخواندن برای انسان است که توسعهدهنده در لاگ CI میبیند. برای مثال، آن را طوری بنویسید که نتیجه و اعداد را بیان کند. "PASS: delta +0.100 (baseline 0.800 -> candidate 0.900), threshold 0.000" یا یک FAIL: ... متغیر. آزمونها بررسی میکنند که گزارش با PASS یا FAIL هماهنگسازی بولین و ذکر هر دو دقت، بنابراین عبارت دقیق با شماست اما حقایق باید در آن گنجانده شوند.
به طور مشخص: یک خط مبنا در 0.8 و یک نامزد در 0.6 با min_delta=0.0 -> delta -0.2، دروازه ناکام میماند، ادغام مسدود است. آنها را جابجا کنید و کاندید بهبود مییابد -> دروازه میگذرد. آن یک بولین واحد همان چیزی است که به CI وصل میکنید تا «prompt به نظر بهتر است» را به «prompt بهطور اثباتشده بدتر نیست، یا build قرمز است» تبدیل کند. فشار دهید دویدن برای گیت کردن یک بهبود و یک رگرسیون.
دروازه رگرسیون CI را بسازید. تابع compare(v1_preds, v2_preds, golds) را بنویسید که {"v1", "v2", "delta"} را بازگردانَد، جایی که هر مقدار دقت تطابق دقیق (کسر پیشبینیهای برابر با gold بدون برچسب) است و delta = v2 - v1. تابع gate(baseline, candidate, min_delta) را بنویسید که دو جفت (preds, golds) را گرفته و {"pass": bool, "delta": float, "report": str} را بازگردانَد، اگر و تنها اگر delta >= min_delta برقرار باشد. گزارش باید با PASS/FAIL (مطابق با مقدار بولین) آغاز شود و هر دو دقت را ذکر کند، هر یک با سه رقم اعشاری ("%.3f"، بنابراین 0.5 به صورت 0.500 نمایش داده میشود). یک رگرسیون باید در گیت شکست بخورد؛ یک بهبود باید عبور کند.
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.