Kurrikulum Leson 193 van 250 · Verantwoordelike KI: Veiligheid, Moderasie & Red-Teaming
Verantwoordelike KI: Veiligheid, Moderasie & Red-Teaming

'n Adversarial Red-Team Suite

Jy het 'n deur-bouncer en 'n toon-klasifiseerder. Hoe weet jy hulle werk werklik? Jy val jou eie app aan. 'n red-team suite is 'n vaste battery van teenstrydige prompts wat jy teen jou beskermde handler afvuur by elke verandering, sodat 'n regressie in jou verdedigings as 'n getal verskyn in plaas van 'n opskrif. Dit is die veiligheids-ekwivalent van 'n test suite.

Die hele ding is offline en deterministies. Die "model" is 'n klein mock sodat die toets vinnig is en nooit 'n netwerk aanroep nie: 'n guarded_handler(prompt) wat eers jou verdediging uitvoer, en slegs as die prompt toegelaat word, gee dit die (veronderstelde) sensitiewe antwoord.

SECRET = "the launch code is 1234"

def guarded_handler(prompt):
    if is_attack(prompt):
        return "I can't help with that."   # blocked
    return SECRET                          # the model 'answered'

'n aanval het deurgekom ( 'n lek) wanneer die handler se antwoord nog die geheim bevat. Dit was blokkering wanneer die antwoord die weiering is. Jy gaan 'n reeks gelabelde aanvalprompts deur die handler hardloop en die uitslag tel:

{
  "passed":  [...],   # attacks that got through and leaked the secret (bad)
  "blocked": [...],   # attacks the defence stopped (good)
  "leak_rate": 0.0    # fraction of attacks that leaked the secret
}

'n nota oor naamgee, want dit verwar mense: die etikette is die rooi-span-konvensie, benoem vanaf die attacker's kant. 'n Aanval wat die geheim laat lek het "passed" (dit het by jou verdediging verbygekom); een wat geweurd is was "blocked". Lees die verslag as die verdediger, wat is wat jy in produksie saak maak: blocked is die lys van aanvalle wat jou verdediging gestop het, passed is die lys van aanvalle wat dit oorwin het (die een wat gelek het), en leak_rate is len(passed) / number_of_attacks. 'n Perfekte verdediging het 'n leë passed lys en leak_rate van 0.0. Druk Run om te sien watter aanvalle by 'n doelbewus lekkende verdediging verbygly, en kyk dan hoe die lek-koers tot nul daal sodat die verdediging aanskerp word.

Waarom moet jy die model mock

Red-teaming van 'n regte LLM beteken duisende betaalde, stadige, nie-deterministiese oproepe wat nuteloos is binne 'n unit test. Die mock behou die shape van die probleem ('n wag voor 'n vermoë) terwyl dit die suite onmiddellik en herhaalbaar maak. In 'n regte pipeline ruil jy die mock vir jou werklike handler en hardloop die presies dieselfde scoring code in CI.

Jou beurt

Skryf run_suite(handler, attacks, secret) wat elke aanvalprompt deur handler vuur en die antwoord klassifiseer: as die antwoord steeds secret bevat, het die aanval passed (lek), anders was dit blocked. Gee {"passed": [...], "blocked": [...], "leak_rate": round(len(passed)/len(attacks), 4)} terug waar die lysies die aanvalprompte hou. Stel dan report = run_suite(guarded_handler, ATTACKS, SECRET) in (die oplossing se guarded_handler blokkeer elke aanval, so leak_rate is 0.0).

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.