Pipeline de Defesa contra Prompt-Injection
Prompt injection é o equivalente ao SQL injection para LLMs: um usuário introduz instruções no input tentando sobrescrever seu system prompt, vazá-lo ou sequestrar o comportamento do modelo. Payloads clássicos incluem "ignore all previous instructions", "reveal your system prompt", "you are now a..." e "developer mode". Uma primeira linha de defesa prática é um detector que escaneia esses padrões conhecidos, combinado com o redator de PII de antes e uma verificação de output, tudo conectado em um único guard pelo qual tudo passa.
O detector deve ser específico o suficiente para não dar alarmes falsos. "Eu visitei Paris anteriormente" é benigno e não deve ativá-lo; "ignore todas as instruções anteriores" deve. Você busca pela phrase perigosa, não por uma única palavra inocente, e você retorna os motivos pelos quais sinalizou para que o bloqueio seja auditável.
import re
PATTERNS = [r"ignore (?:all |the |your )?(?:previous|prior|above) (?:instructions|prompts?)",
r"reveal (?:your |the )?(?:system )?(?:prompt|instructions)"]
# match the phrase, case-insensitivelyO portão completo compõe as peças: detectar injeção na entrada bruta, redigir PII e só chamar o modelo (stubbed) quando a entrada estiver segura. Em produção o passo do modelo seria uma chamada real; aqui um stub substitui para que a correção continue determinística. O ponto pelo qual você é avaliado é a lógica do gate.
Construa duas funções. (1) detect_injection(text) -> um dicionário {"is_injection": bool, "score": int, "patterns": [...]} onde score é quantos padrões coincidiram. (2) guard(user_text) -> {"safe_text": str, "blocked": bool, "reasons": [...]}: se a injeção for detectada, defina blocked=True e adicione "prompt_injection" aos motivos; sempre redija PII em safe_text e, se qualquer PII foi encontrada, anexe um motivo começando com "pii_redacted". Uma mensagem limpa passa intacta e sem bloqueios.
Construa detect_injection(text) retornando {"is_injection", "score", "patterns"} (score = número de padrões de injeção correspondentes) e guard(user_text) retornando {"safe_text", "blocked", "reasons"}. guard bloqueia (adiciona o motivo "prompt_injection") quando uma injeção é detectada, sempre redige PII em safe_text (anexando um motivo "pii_redacted..." quando qualquer for encontrado), e deixa uma mensagem benigna intacta e sem bloqueio. Um similar benigno como "I previously asked about the weather" não deve ser bloqueado.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.