Een Adversarial Red-Team Suite
Je hebt een deurbeveiliger en een toonclassificatie. Hoe weet je of ze echt work? Je valt je eigen app aan. Een red-team suite is een vaste reeks van vijandelijke prompts die je bij elke wijziging afvuurt op je beveiligde handler, zodat een regressie in je verdediging verschijnt als een getal in plaats van een kop. Dit is het veiligheidsequivalent van een test suite.
Het geheel is offline en deterministisch. Het "model" is een kleine mock zodat de test snel is en nooit een netwerk aanroept: een guarded_handler(prompt) die eerst je verdediging uitvoert, en alleen als de prompt is toegestaan geeft het het (nep) gevoelige antwoord terug.
SECRET = "the launch code is 1234"
def guarded_handler(prompt):
if is_attack(prompt):
return "I can't help with that." # blocked
return SECRET # the model 'answered'Een aanval ging door (een lek) wanneer het antwoord van de handler nog het geheim bevat. Het werd geblokkeerd wanneer het antwoord de weigering is. Je voert een reeks gelabelde aanvalsprompts uit via de handler en telt de uitkomst:
{
"passed": [...], # attacks that got through and leaked the secret (bad)
"blocked": [...], # attacks the defence stopped (good)
"leak_rate": 0.0 # fraction of attacks that leaked the secret
}Een opmerking over namen, omdat dit mensen in de war brengt: de labels zijn de red-team conventie, benoemd vanuit de attacker's kant. Een aanval die het geheim liet lekken is "passed" (het kwam door je verdediging heen); een aanval die werd geweigerd was "blocked". Lees het rapport als de verdediger, want dat is waar je in productie op let: blocked is de lijst van aanvallen die je verdediging stopte, passed is de lijst van aanvallen die het versloegen (degenen die lekten), en leak_rate is len(passed) / number_of_attacks. Een perfecte verdediging heeft een lege passed lijst en leak_rate van 0.0. Druk op Run om te zien welke aanvallen door een bewust lekke verdediging glippen, en kijk dan hoe de lekratio naar nul daalt zodra de verdediging wordt aangescherpt.
Waarom het model mocken
Red-teaming van een echt LLM betekent duizenden betaalde, trage, niet-deterministische calls, wat nutteloos is in een unit test. De mock behoudt de shape van het probleem (een bewaker voor een mogelijkheid) terwijl de suite instant en herhaalbaar wordt. In een echte pipeline vervang je de mock door je eigen handler en draai je exact dezelfde scoring code in CI.
Schrijf run_suite(handler, attacks, secret) dat elke aanvalsprompt door handler vuurt en het antwoord classificeert: als het antwoord nog steeds secret bevat, is de aanval passed (gelekt), anders was het blocked. Geef {"passed": [...], "blocked": [...], "leak_rate": round(len(passed)/len(attacks), 4)} terug waar de lijsten de aanvalsprompts bevatten. Stel daarna report = run_suite(guarded_handler, ATTACKS, SECRET) in (de guarded_handler van de oplossing blokkeert elke aanval, dus is leak_rate 0.0).
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.