Il cancello contro le regressioni
Questo è il gran finale, e la riga del tuo curriculum: ho costruito un banco di valutazione dei prompt + un cancello contro le regressioni. Hai i valutatori (lezione 1) e un lettore del giudice (lezione 2). Ora colleghi il pezzo che lo rende CI: un cancello che gira a ogni cambio di prompt e blocca il merge se la qualità è scesa. È ciò che impedisce alla "piccola modifica" di un collega di affondare in silenzio l'accuratezza in produzione -> il revisore automatico che non si stanca mai.
Il modello: hai un insieme di riferimento, e due versioni di un prompt che producono ciascuna una lista di previsioni su quell'insieme. Qui l'accuratezza è semplicemente la frazione di previsioni che corrispondono esattamente alla risposta di riferimento (ripulita). Prima, confronta le due:
compare(v1_preds, v2_preds, golds)->{"v1": acc1, "v2": acc2, "delta": acc2 - acc1}, dove ogni accuratezza è il tasso di corrispondenza esatta rispetto agoldsedeltaè quanto si è spostata v2 rispetto a v1. Un delta positivo significa che il candidato è migliorato; negativo significa che è peggiorato.
Poi il cancello vero e proprio. In CI non blocchi sul rumore -> una soglia min_delta permette a un candidato di scendere di una quantità minuscola e tollerata (spesso 0.0, cioè "non deve peggiorare") prima di essere rifiutato:
gate(baseline, candidate, min_delta)->baselineecandidatesono ciascuno una coppia(preds, golds). Valutali entrambi come accuratezza a corrispondenza esatta, calcoladelta = candidate_acc - baseline_acc, e restituisci{"pass": bool, "delta": delta, "report": str}. Il cancello passa quandodelta >= min_deltae fallisce altrimenti.
Il report è una riga leggibile da una persona che uno sviluppatore vede nel log della CI. Fagli dire l'esito e i numeri, per esempio "PASS: delta +0.100 (baseline 0.800 -> candidate 0.900), threshold 0.000" o una variante FAIL: .... I test controllano che il resoconto cominci con PASS o FAIL in accordo con il booleano e citi entrambe le accuratezze, quindi le parole esatte sono tue ma i fatti devono esserci.
In concreto: una base a 0.8 e un candidato a 0.6 con min_delta=0.0 -> delta -0.2, il cancello fallisce, il merge viene bloccato. Scambiali e il candidato migliora -> il cancello passa. Quel solo booleano è ciò che colleghi alla CI per trasformare "il prompt sembra migliore" in "il prompt è dimostrabilmente non peggiore, altrimenti la build è rossa". Premi Run per far passare dal cancello un miglioramento e una regressione.
Costruisci il cancello di CI contro le regressioni. Scrivi compare(v1_preds, v2_preds, golds) che restituisce {"v1", "v2", "delta"} dove ogni valore è l'accuratezza a corrispondenza esatta (frazione di previsioni uguali al riferimento ripulito) e delta = v2 - v1. Scrivi gate(baseline, candidate, min_delta) che riceve due coppie (preds, golds) e restituisce {"pass": bool, "delta": float, "report": str}, passando se e solo se delta >= min_delta. Il resoconto deve cominciare con PASS/FAIL (in accordo con il booleano) e citare entrambe le accuratezze, ognuna scritta con tre decimali ("%.3f", così 0.5 compare come 0.500). Una regressione deve far fallire il cancello; un miglioramento deve passare.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.