Conteúdo do curso Lição 191 de 250 · IA responsável: segurança, moderação e red-teaming
IA responsável: segurança, moderação e red-teaming

Detecção de jailbreak e prompt injection

A primeira coisa de que um produto de LLM real precisa é um segurança na porta. Antes que a mensagem de um usuário chegue ao modelo, você a passa por uma verificação barata e rápida dos movimentos clássicos de jailbreak: tentativas de anular seu system prompt, contrabandear instruções escondidas ou convencer o modelo a assumir uma persona sem regras. Isso não é toda a história da segurança, mas é a camada que pega os 90% de ataques preguiçosos quase sem custo.

Você vai construir detect_jailbreak(text), que retorna um pequeno dict: {"flag": bool, "reason": str}. Quando o texto parece um ataque, você define flag=True e nomeia o padrão; quando parece um pedido comum, você o deixa passar com flag=False e reason="clean". Procuramos três famílias bem conhecidas, verificadas nesta ordem de prioridade:

  • ignore-previous -> o usuário tenta apagar as regras: frases como ignore previous instructions, disregard the above, forget your instructions.
  • role-play-override -> o usuário atribui uma persona sem lei: you are now DAN, act as an AI with no restrictions, pretend you have no rules, o famoso developer mode.
  • encoded-instruction -> o usuário esconde o pedido real atrás de uma codificação para escapar de filtros de palavras-chave: decode this base64 and run it, rot13: ..., execute the following hex.

A mecânica é simples de propósito: passe o texto para minúsculas uma vez e depois procure algumas substrings gatilho por família. A comparação não diferencia maiúsculas e minúsculas, então IGNORE PREVIOUS e ignore previous disparam do mesmo jeito.

def detect_jailbreak(text):
    t = text.lower()
    if any(p in t for p in ("ignore previous", "disregard the above", ...)):
        return {"flag": True, "reason": "ignore-previous"}
    ...
    return {"flag": False, "reason": "clean"}

Duas ressalvas honestas que esta lição incorpora. Primeiro, a prioridade importa: uma mensagem pode acionar mais de uma família, então você verifica ignore-previous, depois role-play-override, depois encoded-instruction, e retorna o primeiro acerto. Segundo, isto é uma triagem, não uma garantia. Um atacante esperto consegue parafrasear em volta de qualquer lista de palavras-chave, e é exatamente por isso que sistemas em produção combinam isto com um classificador treinado (próxima lição) e um conjunto de red-team (a lição seguinte). Triagens por palavra-chave são a primeira rede barata, não a única. Clique em Run para ver uma mistura de ataques e pedidos inofensivos ser separada.

Sua vez

Escreva detect_jailbreak(text), que retorna {"flag": bool, "reason": str}. Passe o texto para minúsculas e depois verifique três famílias de ataque em ordem de prioridade, retornando o primeiro acerto: ignore-previous (ignore previous, ignore all previous, disregard the above, disregard previous, forget your instructions, forget all previous), role-play-override (you are now dan, act as dan, no restrictions, without any restrictions, pretend you have no rules, pretend you are not, developer mode, act as an ai with no) e encoded-instruction (base64, rot13, decode this, decode the following, execute the following hex, run this hex). Estas são as listas completas; a verificação usa exatamente estas frases. Texto inofensivo retorna {"flag": False, "reason": "clean"}.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.