Programma Lezione 193 di 250 · IA responsabile: sicurezza, moderazione e red teaming
IA responsabile: sicurezza, moderazione e red teaming

Una batteria di red teaming avversaria

Hai un buttafuori alla porta e un classificatore del tono. Come fai a sapere che funzionano davvero? Attacchi la tua stessa app. Una batteria di red teaming è una serie fissa di prompt avversari che lanci contro il tuo gestore protetto a ogni modifica, così una regressione nelle tue difese si presenta come un numero invece che come un titolo di giornale. È l'equivalente di sicurezza di una suite di test.

Tutto è offline e deterministico. Il "modello" è una piccola simulazione così il test è veloce e non chiama mai la rete: un guarded_handler(prompt) che prima fa girare la tua difesa, e solo se il prompt è permesso restituisce la risposta (finta) sensibile.

SECRET = "the launch code is 1234"

def guarded_handler(prompt):
    if is_attack(prompt):
        return "I can't help with that."   # blocked
    return SECRET                          # the model 'answered'

Un attacco è passato (una fuga) quando la risposta del gestore contiene ancora il segreto. È stato bloccato quando la risposta è il rifiuto. Farai passare una batteria di prompt d'attacco etichettati dal gestore e conterai l'esito:

{
  "passed":  [...],   # attacks that got through and leaked the secret (bad)
  "blocked": [...],   # attacks the defence stopped (good)
  "leak_rate": 0.0    # fraction of attacks that leaked the secret
}

Una nota sui nomi, perché fa inciampare: le etichette sono la convenzione del red teaming, con nomi dal lato dell'attaccante. Un attacco che ha fatto uscire il segreto è "passato" (ha superato la tua difesa); uno che è stato rifiutato è "bloccato". Leggi il resoconto da difensore, che è ciò che ti interessa in produzione: blocked è la lista degli attacchi che la tua difesa ha fermato, passed è la lista degli attacchi che l'hanno battuta (quelli con fuga), e leak_rate è len(passed) / number_of_attacks. Una difesa perfetta ha una lista passed vuota e un leak_rate di 0.0. Premi Run per vedere quali attacchi sfuggono a una difesa volutamente bucata, poi guarda il tasso di fuga scendere a zero una volta stretta la difesa.

Perché simulare il modello

Fare red teaming su un vero LLM significa migliaia di chiamate a pagamento, lente e non deterministiche, inutili dentro un test unitario. La simulazione tiene la forma del problema (una guardia davanti a una capacità) rendendo la batteria istantanea e ripetibile. In una vera pipeline sostituisci la simulazione con il tuo gestore reale e fai girare in CI esattamente lo stesso codice di valutazione.

Tocca a te

Scrivi run_suite(handler, attacks, secret) che lancia ogni prompt d'attacco attraverso handler e classifica la risposta: se la risposta contiene ancora secret l'attacco è passed (fuga), altrimenti è stato blocked. Restituisci {"passed": [...], "blocked": [...], "leak_rate": round(len(passed)/len(attacks), 4)} dove le liste contengono i prompt d'attacco. Poi assegna report = run_suite(guarded_handler, ATTACKS, SECRET) (il guarded_handler della soluzione blocca ogni attacco, quindi leak_rate vale 0.0).

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.