Conteúdo do curso Lição 184 de 250 · Produzindo LLMs em produção: Custo, Caching e Guardrails
Produzindo LLMs em produção: Custo, Caching e Guardrails

Pipeline de Defesa contra Prompt-Injection

Prompt injection é o equivalente ao SQL injection para LLMs: um usuário introduz instruções no input tentando sobrescrever seu system prompt, vazá-lo ou sequestrar o comportamento do modelo. Payloads clássicos incluem "ignore all previous instructions", "reveal your system prompt", "you are now a..." e "developer mode". Uma primeira linha de defesa prática é um detector que escaneia esses padrões conhecidos, combinado com o redator de PII de antes e uma verificação de output, tudo conectado em um único guard pelo qual tudo passa.

O detector deve ser específico o suficiente para não dar alarmes falsos. "Eu visitei Paris anteriormente" é benigno e não deve ativá-lo; "ignore todas as instruções anteriores" deve. Você busca pela phrase perigosa, não por uma única palavra inocente, e você retorna os motivos pelos quais sinalizou para que o bloqueio seja auditável.

import re
PATTERNS = [r"ignore (?:all |the |your )?(?:previous|prior|above) (?:instructions|prompts?)",
            r"reveal (?:your |the )?(?:system )?(?:prompt|instructions)"]
# match the phrase, case-insensitively

O portão completo compõe as peças: detectar injeção na entrada bruta, redigir PII e só chamar o modelo (stubbed) quando a entrada estiver segura. Em produção o passo do modelo seria uma chamada real; aqui um stub substitui para que a correção continue determinística. O ponto pelo qual você é avaliado é a lógica do gate.

Construa duas funções. (1) detect_injection(text) -> um dicionário {"is_injection": bool, "score": int, "patterns": [...]} onde score é quantos padrões coincidiram. (2) guard(user_text) -> {"safe_text": str, "blocked": bool, "reasons": [...]}: se a injeção for detectada, defina blocked=True e adicione "prompt_injection" aos motivos; sempre redija PII em safe_text e, se qualquer PII foi encontrada, anexe um motivo começando com "pii_redacted". Uma mensagem limpa passa intacta e sem bloqueios.

Sua vez

Construa detect_injection(text) retornando {"is_injection", "score", "patterns"} (score = número de padrões de injeção correspondentes) e guard(user_text) retornando {"safe_text", "blocked", "reasons"}. guard bloqueia (adiciona o motivo "prompt_injection") quando uma injeção é detectada, sempre redige PII em safe_text (anexando um motivo "pii_redacted..." quando qualquer for encontrado), e deixa uma mensagem benigna intacta e sem bloqueio. Um similar benigno como "I previously asked about the weather" não deve ser bloqueado.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.