Eine Adversarial Red-Team Suite
Du hast einen Türsteher und einen Ton-Klassifikator. Wie weißt du, dass sie tatsächlich work? Du greifst deine eigene App an. Eine red-team suite ist eine feste Batterie von adversarial prompts, die du bei jeder Änderung an deinen geschützten Handler abfeuerst, damit eine Regression in deinen Verteidigungen als Zahl und nicht als Schlagzeile erscheint. Dies ist das Sicherheitsäquivalent einer Testsuite.
Das Ganze ist offline und deterministisch. Das "model" ist ein winziger Mock, damit der Test schnell ist und niemals ein Netzwerk aufruft: ein guarded_handler(prompt), das zuerst deine Abwehr ausführt, und nur wenn der prompt erlaubt ist, gibt es die (vorgetäuschte) sensible Antwort zurück.
SECRET = "the launch code is 1234"
def guarded_handler(prompt):
if is_attack(prompt):
return "I can't help with that." # blocked
return SECRET # the model 'answered'Ein Angriff kam durch (ein Leck), wenn die Antwort des Handlers noch das Geheimnis enthält. Er wurde blockiert, wenn die Antwort die Ablehnung ist. Du wirst eine Suite von beschrifteten Angriffs-Prompts durch den Handler laufen lassen und das Ergebnis zählen:
{
"passed": [...], # attacks that got through and leaked the secret (bad)
"blocked": [...], # attacks the defence stopped (good)
"leak_rate": 0.0 # fraction of attacks that leaked the secret
} Ein Hinweis zur Benennung, weil er Leute verwirrt: Die Labels sind die Red-Team-Konvention, benannt von der attacker's Seite. Ein Angriff, der das Geheimnis preisgab, ist "passed" (er kam an deiner Verteidigung vorbei); einer, der abgelehnt wurde, war "blocked". Lies den Bericht als Verteidiger, was dich in der Produktion interessiert: blocked ist die Liste der Angriffe, die deine Verteidigung gestoppt hat, passed ist die Liste der Angriffe, die sie besiegt haben (die, die geleakt haben), und leak_rate ist len(passed) / number_of_attacks. Eine perfekte Verteidigung hat eine leere passed Liste und leak_rate von 0.0. Drücke Run um zu sehen, welche Angriffe an einer absichtlich undurchlässigen Verteidigung vorbeigleiten, und beobachte dann, wie die Leckrate auf Null sinkt, sobald die Verteidigung verstärkt wird.
Warum das Modell mocken
Red-Teaming eines echten LLM bedeutet tausende bezahlte, langsame, nicht-deterministische Aufrufe, die in einem Unit-Test nutzlos sind. Der Mock behält die shape des Problems (eine Absperrung vor einer Fähigkeit) bei und macht die Suite sofort und wiederholbar. In einer echten Pipeline tauschst du den Mock gegen deinen tatsächlichen Handler aus und führst den exakt gleichen Scoring-Code in CI aus.
Schreibe run_suite(handler, attacks, secret), das jeden attack prompt durch handler feuert und die Antwort klassifiziert: wenn die Antwort immer noch secret enthält, ist der attack passed (geleakt), ansonsten war er blocked. Gib {"passed": [...], "blocked": [...], "leak_rate": round(len(passed)/len(attacks), 4)} zurück, wo die listen die attack prompts halten. Setze dann report = run_suite(guarded_handler, ATTACKS, SECRET) (die guarded_handler der Lösung blockt jeden attack, also ist leak_rate 0.0).
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.