Un cancello contro le regressioni dei prompt
Hai dei valutatori (corrispondenza esatta, F1, un LLM giudice). L'ultimo pezzo li trasforma in un cancello: una decisione sì/no che la tua CI esegue a ogni cambio di prompt così una "piccola modifica" non può mai peggiorare le cose in silenzio. È la differenza tra misurare la qualità e difenderla.
("Regressione" qui significa un cambiamento in peggio, il senso quotidiano del software, non la tecnica di modellazione del modulo sul ML.)
Confronti due esecuzioni sullo STESSO insieme di valutazione: la base (il prompt in produzione) e il candidato (la tua modifica), come due liste di punteggi per esempio in [0, 1]. Il cancello blocca la modifica a meno che non superi tre asticelle:
- Nessun calo generale: il punteggio medio del candidato è almeno quello della base (una piccola tolleranza assorbe il rumore).
- Pochi nuovi fallimenti: il numero di esempi in cui il candidato ha fatto peggio della base resta entro un budget (una grande vittoria non deve nascondere diverse regressioni silenziose).
- Un pavimento: una media minima assoluta, se ne imposti una.
Costruisci regression_gate(baseline, candidate, tol=0.01, max_regressions=0, min_mean=None) che restituisce un dict di resoconto con baseline_mean, candidate_mean, delta (candidato meno base), regressions (numero di indici in cui candidate[i] < baseline[i] - 1e-9), e passed (un bool, True solo quando TUTTE le asticelle sono superate). Le due liste hanno la stessa lunghezza. Premi Run per far passare un prompt candidato dal cancello.
Scrivi regression_gate(baseline, candidate, tol=0.01, max_regressions=0, min_mean=None) su due liste della stessa lunghezza di punteggi per esempio. Restituisci {"baseline_mean", "candidate_mean", "delta", "regressions", "passed"} dove delta = candidate_mean - baseline_mean, regressions conta gli indici con candidate[i] < baseline[i] - 1e-9, e passed è True solo quando candidate_mean >= baseline_mean - tol E regressions <= max_regressions E (min_mean is None o candidate_mean >= min_mean).
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.