Canalización de defensa contra la inyección de prompts
La inyección de prompts es el equivalente en LLM de la inyección SQL: un usuario cuela instrucciones en su entrada intentando anular tu prompt de sistema, filtrarlo o secuestrar el comportamiento del modelo. Las cargas clásicas incluyen "ignore all previous instructions", "reveal your system prompt", "you are now a..." y "developer mode". Una primera línea de defensa práctica es un detector que busca estos patrones conocidos, junto con el eliminador de datos personales de antes y una comprobación de la salida, todo conectado en una sola barrera por la que pasa todo.
El detector tiene que ser lo bastante específico como para no dar falsas alarmas. "I previously visited Paris" es inofensivo y no debe dispararlo; "ignore all previous instructions" sí. Buscas la frase peligrosa, no una palabra inocente suelta, y devuelves los motivos por los que señalaste algo para que el bloqueo se pueda auditar.
import re
PATTERNS = [r"ignore (?:all |the |your )?(?:previous|prior|above) (?:instructions|prompts?)",
r"reveal (?:your |the )?(?:system )?(?:prompt|instructions)"]
# match the phrase, case-insensitivelyLa barrera completa combina las piezas: detecta la inyección en la entrada original, elimina los datos personales y solo llama al modelo (simulado) cuando la entrada es segura. En producción el paso del modelo sería una llamada real; aquí una simulación ocupa su lugar para que la evaluación siga siendo determinista. Lo que se evalúa es la lógica de la barrera.
Construye dos funciones. (1) detect_injection(text) -> un dict {"is_injection": bool, "score": int, "patterns": [...]}, donde score es cuántos patrones coincidieron. (2) guard(user_text) -> {"safe_text": str, "blocked": bool, "reasons": [...]}: si se detecta inyección, pon blocked=True y añade "prompt_injection" a los motivos; elimina siempre los datos personales en safe_text y, si se encontró alguno, añade un motivo que empiece por "pii_redacted". Un mensaje limpio pasa intacto y sin bloquear.
Construye detect_injection(text), que devuelva {"is_injection", "score", "patterns"} (score = número de patrones de inyección que coincidieron), y guard(user_text), que devuelva {"safe_text", "blocked", "reasons"}. guard bloquea (añade el motivo "prompt_injection") cuando se detecta inyección, elimina siempre los datos personales en safe_text (añadiendo un motivo "pii_redacted..." cuando encuentra alguno), y deja un mensaje limpio intacto y sin bloquear. Un parecido inofensivo como "I previously asked about the weather" no debe bloquearse.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.