Programma Les 184 van 250 · LLM's in productie brengen: Kosten, Caching & Guardrails
LLM's in productie brengen: Kosten, Caching & Guardrails

Prompt-Injection Defense Pipeline

Prompt injection is het LLM-equivalent van SQL injection: een gebruiker smokkelt instructies in hun input om je system prompt te overschrijven, te lekken of het gedrag van het model over te nemen. Klassieke payloads zijn "ignore all previous instructions", "reveal your system prompt", "you are now a..." en "developer mode". Een praktische eerste verdedigingslinie is een detector die scant naar deze bekende patronen, gecombineerd met de PII redactor van eerder en een output check, allemaal verbonden in een enkele guard waar alles doorheen stroomt.

De detector moet specifiek genoeg zijn om geen valse alarmen te geven. "Ik heb eerder Parijs bezocht" is onschadelijk en mag hem niet activeren; "ignore all previous instructions" moet dat wel. Je matcht op de gevaarlijke phrase, niet op een enkel onschuldig woord, en je geeft de redenen terug waarom je het gemarkeerd hebt zodat de blokkade controleerbaar is.

import re
PATTERNS = [r"ignore (?:all |the |your )?(?:previous|prior|above) (?:instructions|prompts?)",
            r"reveal (?:your |the )?(?:system )?(?:prompt|instructions)"]
# match the phrase, case-insensitively

De volledige gate stelt de stukken samen: detecteer injectie op de raw input, redacteer PII, en roep de (stubbed) model alleen aan wanneer de input veilig is. In productie zou de model stap een echte call zijn; hier staat een stub in zodat grading deterministisch blijft. Het punt waar je op wordt beoordeeld is de gate logic.

Bouw twee functies. (1) detect_injection(text) -> een dictionary {"is_injection": bool, "score": int, "patterns": [...]} waar score het aantal gematchte patronen is. (2) guard(user_text) -> {"safe_text": str, "blocked": bool, "reasons": [...]}: als een injectie wordt gedetecteerd, zet blocked=True en voeg "prompt_injection" toe aan reasons; redacteer altijd PII naar safe_text en, als er PII is gevonden, voeg een reden toe die begint met "pii_redacted". Een schone boodschap gaat onveranderd en onbelemmerd doorheen.

Jij bent aan de beurt

Bouw detect_injection(text) die {"is_injection", "score", "patterns"} teruggeeft (score = aantal gematchte injectiepatronen) en guard(user_text) die {"safe_text", "blocked", "reasons"} teruggeeft. guard blokkeert (voegt reden "prompt_injection" toe) wanneer een injectie wordt gedetecteerd, maskeert altijd PII naar safe_text (voegt een "pii_redacted..." reden toe wanneer er iets wordt gevonden), en laat een onschadelijke tekst ongemoeid en ongeblokkeerd. Een onschadelijke lookalike zoals "I previously asked about the weather" mag niet worden geblokkeerd.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.