Prompt-Injection Defense Pipeline
Prompt injection is het LLM-equivalent van SQL injection: een gebruiker smokkelt instructies in hun input om je system prompt te overschrijven, te lekken of het gedrag van het model over te nemen. Klassieke payloads zijn "ignore all previous instructions", "reveal your system prompt", "you are now a..." en "developer mode". Een praktische eerste verdedigingslinie is een detector die scant naar deze bekende patronen, gecombineerd met de PII redactor van eerder en een output check, allemaal verbonden in een enkele guard waar alles doorheen stroomt.
De detector moet specifiek genoeg zijn om geen valse alarmen te geven. "Ik heb eerder Parijs bezocht" is onschadelijk en mag hem niet activeren; "ignore all previous instructions" moet dat wel. Je matcht op de gevaarlijke phrase, niet op een enkel onschuldig woord, en je geeft de redenen terug waarom je het gemarkeerd hebt zodat de blokkade controleerbaar is.
import re
PATTERNS = [r"ignore (?:all |the |your )?(?:previous|prior|above) (?:instructions|prompts?)",
r"reveal (?:your |the )?(?:system )?(?:prompt|instructions)"]
# match the phrase, case-insensitivelyDe volledige gate stelt de stukken samen: detecteer injectie op de raw input, redacteer PII, en roep de (stubbed) model alleen aan wanneer de input veilig is. In productie zou de model stap een echte call zijn; hier staat een stub in zodat grading deterministisch blijft. Het punt waar je op wordt beoordeeld is de gate logic.
Bouw twee functies. (1) detect_injection(text) -> een dictionary {"is_injection": bool, "score": int, "patterns": [...]} waar score het aantal gematchte patronen is. (2) guard(user_text) -> {"safe_text": str, "blocked": bool, "reasons": [...]}: als een injectie wordt gedetecteerd, zet blocked=True en voeg "prompt_injection" toe aan reasons; redacteer altijd PII naar safe_text en, als er PII is gevonden, voeg een reden toe die begint met "pii_redacted". Een schone boodschap gaat onveranderd en onbelemmerd doorheen.
Bouw detect_injection(text) die {"is_injection", "score", "patterns"} teruggeeft (score = aantal gematchte injectiepatronen) en guard(user_text) die {"safe_text", "blocked", "reasons"} teruggeeft. guard blokkeert (voegt reden "prompt_injection" toe) wanneer een injectie wordt gedetecteerd, maskeert altijd PII naar safe_text (voegt een "pii_redacted..." reden toe wanneer er iets wordt gevonden), en laat een onschadelijke tekst ongemoeid en ongeblokkeerd. Een onschadelijke lookalike zoals "I previously asked about the weather" mag niet worden geblokkeerd.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.