Die Regressiepoort
Dit is die finale, en die reël op jou CV: built a prompt-eval harness + regression gate. Jy het scorers (lesson 1) en 'n judge parser (lesson 2). Nou verbind jy die stuk wat dit maak CI: 'n gate wat op elke prompt-verandering loop en blocks the merge as kwaliteit daal. Dit is wat keer dat 'n spanmaat se "small tweak" stilleties akkuraatheid in produksie vernietig -> die outomatiese reviewer wat nooit moeg word nie.
Die model: jy het 'n goue stel, en twee weersies van 'n prompt wat elk 'n lys van voorspellings oor daardie stel produseer. Akkuraatheid hier is eenvoudig die breuk van voorspellings wat presies ooreenstem met die goue antwoord (stripped). Vergelyk eers die twee:
compare(v1_preds, v2_preds, golds)->{"v1": acc1, "v2": acc2, "delta": acc2 - acc1}, waar elke akkuraatheid die presiese ooreenstemmingskoers teengoldsis endeltais hoeveel v2 relatief tot v1 beweeg het. 'n Positiewe delta beteken die kandidaat het verbeter; negatief beteken dit het agteruitgegaan.
Dan die poort self. In CI blokeer jy nie op geraas -> 'n min_delta drempel laat 'n kandidaat 'n klein, toelaatbare hoeveelheid sak (dikwels 0.0, wat beteken "moenie erger word nie") voordat dit verwerp word:
gate(baseline, candidate, min_delta)->baselineencandidateis elk 'n(preds, golds)paar. Tel albei as exact-match accuracy, berekendelta = candidate_acc - baseline_acc, en gee{"pass": bool, "delta": delta, "report": str}terug. Die hek passes wanneerdelta >= min_deltaen fails andersins.
Die report is 'n menslike een-reël-lêer wat 'n ontwikkelaar in die CI-log sien. Maak dit die uitkoms en die nommers aandui, byvoorbeeld "PASS: delta +0.100 (baseline 0.800 -> candidate 0.900), threshold 0.000" of 'n FAIL: ...-variant. Die toetse kontroleer dat die verslag met PASS of FAIL begin wat by die boolean pas en beide akkuraathede noem, so die presiese bewoording is joune maar die feite moet daarin wees.
Konkreetlik: 'n basislyn by 0.8 en 'n kandidaat by 0.6 met min_delta=0.0 -> delta -0.2, poort fails, die samevoeging word geblokkeer. Wissel hulle om en die kandidaat verbeter -> poort passes. Daardie enkele boolean is wat jy in CI aansluit om "die aanvraag lyk beter" in "die aanvraag is bewyslik nie swakker nie, of die bou is rooi" te verander. Druk Run om 'n verbetering en 'n regressie te poorteer.
Bou die CI-regressiehek. Skryf compare(v1_preds, v2_preds, golds) wat {"v1", "v2", "delta"} teruggee waar elke waarde die presiese-ooreenstemming-akkuraatheid (gedeelte van voorspellings gelyk aan die gestripte goud) en delta = v2 - v1 is. Skryf gate(baseline, candidate, min_delta) wat twee (preds, golds)-paaie neem en {"pass": bool, "delta": float, "report": str} teruggee, wat slaag as delta >= min_delta. Die verslag moet begin met PASS/FAIL (pas by die booliese) en beide akkuraathede noem, elk geskryf met drie desimale ("%.3f", so 0.5 verskyn as 0.500). 'n Regressie moet die hek misluk; 'n verbetering moet slaag.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.