Programma Lezione 194 di 250 · IA responsabile: sicurezza, moderazione e red teaming
IA responsabile: sicurezza, moderazione e red teaming

Calibrare i rifiuti: troppi rifiuti contro troppo pochi

Bloccare gli attacchi è solo metà della sicurezza. L'altra metà è non bloccare troppo. Un modello che rifiuta ogni domanda appena piccante è sicuro e inutile, l'equivalente di sicurezza di un rilevatore di fumo che suona quando fai un toast. Devi misurare entrambi i modi di fallire sullo stesso insieme etichettato e regolare la linea tra loro.

Prendi un insieme di prompt etichettati ciascuno con ciò che l'app dovrebbe fare: "refuse" (davvero dannoso) o "answer" (innocuo). La tua guardia produce un punteggio di rischio per prompt, e rifiuti quando il punteggio supera una soglia. Possono succedere due errori:

  • Troppi rifiuti (un falso positivo): hai rifiutato un prompt a cui avresti dovuto rispondere. Fastidioso, fa scappare gli utenti.
  • Troppo pochi rifiuti (un falso negativo): hai risposto a un prompt che avresti dovuto rifiutare. Pericoloso, il rischio da titolo di giornale.

Trattando "refuse" come classe positiva, le metriche standard raccontano tutta la storia:

precision = TP / (TP + FP)   # of what I refused, how much truly needed refusing
recall    = TP / (TP + FN)   # of the truly-harmful, how much I caught
f1        = 2 * P * R / (P + R)

Una precision bassa significa che rifiuti troppo (tanti prompt innocui tra i tuoi rifiuti). Una recall bassa significa che rifiuti troppo poco (prompt dannosi che passano). Si scambiano quando sposti la soglia: rifiuta in modo aggressivo e la recall sale mentre la precision scende; rifiuta in modo prudente e succede il contrario. Scriverai refusal_metrics(scores, labels, threshold) e poi best_threshold(scores, labels, candidates) che prova le soglie candidate e restituisce quella con l'F1 più alto, l'unico numero che non lascia scappare nessuno dei due errori.

Due dettagli di correttezza che controllano i test. Rifiuta quando score >= threshold (maggiore o uguale, così un punteggio esattamente sulla linea rifiuta). E quando il denominatore di una metrica è zero (non hai rifiutato niente, quindi la precision non è definita) restituisci 0.0 invece di andare in crash. Le tue metriche devono coincidere con precision_score, recall_score e f1_score di scikit-learn con zero_division=0, perché non dovresti mai rilasciare metriche fatte in casa che non coincidono con la libreria testata.

Tocca a te

Scrivi refusal_metrics(scores, labels, threshold) dove labels sono "refuse"/"answer" e prevedi refuse quando score >= threshold. Tratta "refuse" come positivo e restituisci {"precision", "recall", "f1"}, ognuno arrotondato con round a 4 cifre, con 0.0 per qualsiasi metrica con denominatore zero (deve coincidere con sklearn con zero_division=0). Poi scrivi best_threshold(scores, labels, candidates) che restituisce il candidato con l'F1 più alto (in caso di parità vince la soglia più bassa), e assegna best = best_threshold(SCORES, LABELS, CANDIDATES).

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.