Une batterie adverse de red-teaming
Tu as un videur à l'entrée et un classifieur de ton. Comment savoir s'ils marchent vraiment ? Tu attaques ta propre appli. Une batterie de red-teaming est un ensemble fixe de prompts adverses que tu envoies à ton gestionnaire protégé à chaque changement, pour qu'une régression de tes défenses apparaisse sous forme de chiffre plutôt qu'à la une des journaux. C'est l'équivalent sécurité d'une suite de tests.
Le tout est hors ligne et déterministe. Le « modèle » est une toute petite simulation, pour que le test soit rapide et n'appelle jamais le réseau : un guarded_handler(prompt) qui lance d'abord ta défense, et ne renvoie la réponse sensible (fictive) que si le prompt est autorisé.
SECRET = "the launch code is 1234"
def guarded_handler(prompt):
if is_attack(prompt):
return "I can't help with that." # blocked
return SECRET # the model 'answered'Une attaque est passée (une fuite) quand la réponse du gestionnaire contient encore le secret. Elle a été bloquée quand la réponse est le refus. Tu vas faire passer une batterie de prompts d'attaque étiquetés dans le gestionnaire et compter les résultats :
{
"passed": [...], # attacks that got through and leaked the secret (bad)
"blocked": [...], # attacks the defence stopped (good)
"leak_rate": 0.0 # fraction of attacks that leaked the secret
}Une note sur les noms, car ça piège les gens : les étiquettes suivent la convention du red-teaming, nommées du côté de l'attaquant. Une attaque qui a fait fuiter le secret est « passed » (elle a franchi ta défense) ; une attaque refusée est « blocked ». Lis le rapport en défenseur, ce qui compte en production : blocked est la liste des attaques que ta défense a stoppées, passed la liste des attaques qui l'ont battue (celles qui ont fuité), et leak_rate vaut len(passed) / number_of_attacks. Une défense parfaite a une liste passed vide et un leak_rate de 0.0. Appuie sur Run pour voir quelles attaques passent à travers une défense volontairement percée, puis regarde le taux de fuite tomber à zéro une fois la défense resserrée.
Pourquoi simuler le modèle
Faire du red-teaming sur un vrai LLM, c'est des milliers d'appels payants, lents et non déterministes, inutilisables dans un test unitaire. La simulation garde la forme du problème (une garde devant une capacité) tout en rendant la batterie instantanée et répétable. Dans une vraie chaîne, tu remplaces la simulation par ton vrai gestionnaire et tu lances exactement le même code de notation en CI.
Écris run_suite(handler, attacks, secret) qui envoie chaque prompt d'attaque dans handler et classe la réponse : si la réponse contient encore secret, l'attaque est passée (fuite), sinon elle a été bloquée. Renvoie {"passed": [...], "blocked": [...], "leak_rate": round(len(passed)/len(attacks), 4)} où les listes contiennent les prompts d'attaque. Puis écris report = run_suite(guarded_handler, ATTACKS, SECRET) (le guarded_handler de la solution bloque toutes les attaques, donc leak_rate vaut 0.0).
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.