Una batteria di red teaming avversaria
Hai un buttafuori alla porta e un classificatore del tono. Come fai a sapere che funzionano davvero? Attacchi la tua stessa app. Una batteria di red teaming è una serie fissa di prompt avversari che lanci contro il tuo gestore protetto a ogni modifica, così una regressione nelle tue difese si presenta come un numero invece che come un titolo di giornale. È l'equivalente di sicurezza di una suite di test.
Tutto è offline e deterministico. Il "modello" è una piccola simulazione così il test è veloce e non chiama mai la rete: un guarded_handler(prompt) che prima fa girare la tua difesa, e solo se il prompt è permesso restituisce la risposta (finta) sensibile.
SECRET = "the launch code is 1234"
def guarded_handler(prompt):
if is_attack(prompt):
return "I can't help with that." # blocked
return SECRET # the model 'answered'Un attacco è passato (una fuga) quando la risposta del gestore contiene ancora il segreto. È stato bloccato quando la risposta è il rifiuto. Farai passare una batteria di prompt d'attacco etichettati dal gestore e conterai l'esito:
{
"passed": [...], # attacks that got through and leaked the secret (bad)
"blocked": [...], # attacks the defence stopped (good)
"leak_rate": 0.0 # fraction of attacks that leaked the secret
}Una nota sui nomi, perché fa inciampare: le etichette sono la convenzione del red teaming, con nomi dal lato dell'attaccante. Un attacco che ha fatto uscire il segreto è "passato" (ha superato la tua difesa); uno che è stato rifiutato è "bloccato". Leggi il resoconto da difensore, che è ciò che ti interessa in produzione: blocked è la lista degli attacchi che la tua difesa ha fermato, passed è la lista degli attacchi che l'hanno battuta (quelli con fuga), e leak_rate è len(passed) / number_of_attacks. Una difesa perfetta ha una lista passed vuota e un leak_rate di 0.0. Premi Run per vedere quali attacchi sfuggono a una difesa volutamente bucata, poi guarda il tasso di fuga scendere a zero una volta stretta la difesa.
Perché simulare il modello
Fare red teaming su un vero LLM significa migliaia di chiamate a pagamento, lente e non deterministiche, inutili dentro un test unitario. La simulazione tiene la forma del problema (una guardia davanti a una capacità) rendendo la batteria istantanea e ripetibile. In una vera pipeline sostituisci la simulazione con il tuo gestore reale e fai girare in CI esattamente lo stesso codice di valutazione.
Scrivi run_suite(handler, attacks, secret) che lancia ogni prompt d'attacco attraverso handler e classifica la risposta: se la risposta contiene ancora secret l'attacco è passed (fuga), altrimenti è stato blocked. Restituisci {"passed": [...], "blocked": [...], "leak_rate": round(len(passed)/len(attacks), 4)} dove le liste contengono i prompt d'attacco. Poi assegna report = run_suite(guarded_handler, ATTACKS, SECRET) (il guarded_handler della soluzione blocca ogni attacco, quindi leak_rate vale 0.0).
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.