Pipeline di difesa dalla prompt injection
La prompt injection è l'equivalente LLM della SQL injection: un utente infila istruzioni nel suo input cercando di scavalcare il tuo prompt di sistema, farlo trapelare, o dirottare il comportamento del modello. I contenuti classici includono "ignore all previous instructions", "reveal your system prompt", "you are now a..." e "developer mode". Una prima linea di difesa pratica è un rilevatore che cerca questi schemi noti, abbinato all'oscuratore di dati personali di prima e a un controllo dell'uscita, tutti collegati in un'unica guardia da cui passa tutto.
Il rilevatore deve essere abbastanza specifico da non gridare al lupo. "I previously visited Paris" è innocuo e non deve farlo scattare; "ignore all previous instructions" sì. Cerchi la frase pericolosa, non una singola parola innocente, e restituisci i motivi per cui hai segnalato così il blocco è verificabile.
import re
PATTERNS = [r"ignore (?:all |the |your )?(?:previous|prior|above) (?:instructions|prompts?)",
r"reveal (?:your |the )?(?:system )?(?:prompt|instructions)"]
# match the phrase, case-insensitivelyIl cancello completo compone i pezzi: riconosci l'injection sull'input grezzo, oscura i dati personali, e chiama il modello (simulato) solo quando l'input è sicuro. In produzione il passo del modello sarebbe una vera chiamata; qui una simulazione ne prende il posto così la correzione resta deterministica. Il punto su cui vieni valutato è la logica del cancello.
Costruisci due funzioni. (1) detect_injection(text) -> un dict {"is_injection": bool, "score": int, "patterns": [...]} dove score è quanti schemi hanno corrisposto. (2) guard(user_text) -> {"safe_text": str, "blocked": bool, "reasons": [...]}: se viene riconosciuta un'injection, assegna blocked=True e aggiungi "prompt_injection" ai motivi; oscura sempre i dati personali in safe_text e, se ne è stato trovato qualcuno, aggiungi un motivo che comincia con "pii_redacted". Un messaggio pulito passa intatto e non bloccato.
Costruisci detect_injection(text) che restituisce {"is_injection", "score", "patterns"} (score = numero di schemi di injection che hanno corrisposto) e guard(user_text) che restituisce {"safe_text", "blocked", "reasons"}. guard blocca (aggiunge il motivo "prompt_injection") quando viene riconosciuta un'injection, oscura sempre i dati personali in safe_text (aggiungendo un motivo "pii_redacted..." quando ne trova), e lascia un messaggio pulito intatto e non bloccato. Un sosia innocuo come "I previously asked about the weather" non deve essere bloccato.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.