Prompt-Injeksie Verdedigingspypelyn
Prompt injection is die LLM-ekwivalent van SQL injection: 'n gebruiker smokkel instruksies in hul input om jou system prompt te oorskryf, te lek of om die model se gedrag te kap. Klassieke payloads sluit in "ignore all previous instructions", "reveal your system prompt", "you are now a..." en "developer mode". 'n Praktiese eerste verdedigingslyn is 'n detector wat vir hierdie bekende patrone soek, gepaard met die PII redactor van vroeër en 'n output check, alles gekoppel aan 'n enkele guard waarby alles deur vloei.
Die detektor moet spesifiek genoeg wees sodat dit nie vals alarm gee nie. "Ek het voorheen Parys besoek" is onskuldig en moet dit nie aktiveer nie; "ignore all previous instructions" moet. Jy pas op die gevaarlike phrase, nie op 'n enkele onskuldige woord nie, en jy gee die redes terug waarom jy dit gemerk het sodat die blok kontroleerbaar is.
import re
PATTERNS = [r"ignore (?:all |the |your )?(?:previous|prior|above) (?:instructions|prompts?)",
r"reveal (?:your |the )?(?:system )?(?:prompt|instructions)"]
# match the phrase, case-insensitivelyDie volledige poort stel die dele saam: meet inspuiting op die rou inset, redigeer PII, en roep die (stubbed) model net aan wanneer die inset veilig is. In produksie sou die modelstap 'n werklike oproep wees; hier staan 'n stub in sodat gradering deterministies bly. Die punt waarop jy gegradeer word is die gate logic.
Bou twee funksies. (1) detect_injection(text) -> 'n dict {"is_injection": bool, "score": int, "patterns": [...]} waar score is hoeveel patrone pas. (2) guard(user_text) -> {"safe_text": str, "blocked": bool, "reasons": [...]}: as 'n injection opgemerk word, stel blocked=True in en voeg "prompt_injection" by redes; redak altyd PII na safe_text en, as enige PII gevind is, voeg 'n rede by wat begin met "pii_redacted". 'n Skoon boodskap gaan onveranderd en ongeblokkeerd deur.
Bou detect_injection(text) wat {"is_injection", "score", "patterns"} teruggee (score = aantal inspuitpatrone wat pas) en guard(user_text) wat {"safe_text", "blocked", "reasons"} teruggee. guard blokkeer (voeg rede "prompt_injection" by) wanneer inspuiting opgemerk word, redigeer altyd PII na safe_text (voeg 'n "pii_redacted..." rede by wanneer enige gevind word), en laat 'n skoon boodskap ongeminiek en onblokkeer. 'n Onskuldige ooreenstemmende voorbeeld soos "I previously asked about the weather" moet nie geblokkeer word nie.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.