Calibrare i rifiuti: troppi rifiuti contro troppo pochi
Bloccare gli attacchi è solo metà della sicurezza. L'altra metà è non bloccare troppo. Un modello che rifiuta ogni domanda appena piccante è sicuro e inutile, l'equivalente di sicurezza di un rilevatore di fumo che suona quando fai un toast. Devi misurare entrambi i modi di fallire sullo stesso insieme etichettato e regolare la linea tra loro.
Prendi un insieme di prompt etichettati ciascuno con ciò che l'app dovrebbe fare: "refuse" (davvero dannoso) o "answer" (innocuo). La tua guardia produce un punteggio di rischio per prompt, e rifiuti quando il punteggio supera una soglia. Possono succedere due errori:
- Troppi rifiuti (un falso positivo): hai rifiutato un prompt a cui avresti dovuto rispondere. Fastidioso, fa scappare gli utenti.
- Troppo pochi rifiuti (un falso negativo): hai risposto a un prompt che avresti dovuto rifiutare. Pericoloso, il rischio da titolo di giornale.
Trattando "refuse" come classe positiva, le metriche standard raccontano tutta la storia:
precision = TP / (TP + FP) # of what I refused, how much truly needed refusing
recall = TP / (TP + FN) # of the truly-harmful, how much I caught
f1 = 2 * P * R / (P + R)Una precision bassa significa che rifiuti troppo (tanti prompt innocui tra i tuoi rifiuti). Una recall bassa significa che rifiuti troppo poco (prompt dannosi che passano). Si scambiano quando sposti la soglia: rifiuta in modo aggressivo e la recall sale mentre la precision scende; rifiuta in modo prudente e succede il contrario. Scriverai refusal_metrics(scores, labels, threshold) e poi best_threshold(scores, labels, candidates) che prova le soglie candidate e restituisce quella con l'F1 più alto, l'unico numero che non lascia scappare nessuno dei due errori.
Due dettagli di correttezza che controllano i test. Rifiuta quando score >= threshold (maggiore o uguale, così un punteggio esattamente sulla linea rifiuta). E quando il denominatore di una metrica è zero (non hai rifiutato niente, quindi la precision non è definita) restituisci 0.0 invece di andare in crash. Le tue metriche devono coincidere con precision_score, recall_score e f1_score di scikit-learn con zero_division=0, perché non dovresti mai rilasciare metriche fatte in casa che non coincidono con la libreria testata.
Scrivi refusal_metrics(scores, labels, threshold) dove labels sono "refuse"/"answer" e prevedi refuse quando score >= threshold. Tratta "refuse" come positivo e restituisci {"precision", "recall", "f1"}, ognuno arrotondato con round a 4 cifre, con 0.0 per qualsiasi metrica con denominatore zero (deve coincidere con sklearn con zero_division=0). Poi scrivi best_threshold(scores, labels, candidates) che restituisce il candidato con l'F1 più alto (in caso di parità vince la soglia più bassa), e assegna best = best_threshold(SCORES, LABELS, CANDIDATES).
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.