Detecção de jailbreak e prompt injection
A primeira coisa de que um produto de LLM real precisa é um segurança na porta. Antes que a mensagem de um usuário chegue ao modelo, você a passa por uma verificação barata e rápida dos movimentos clássicos de jailbreak: tentativas de anular seu system prompt, contrabandear instruções escondidas ou convencer o modelo a assumir uma persona sem regras. Isso não é toda a história da segurança, mas é a camada que pega os 90% de ataques preguiçosos quase sem custo.
Você vai construir detect_jailbreak(text), que retorna um pequeno dict: {"flag": bool, "reason": str}. Quando o texto parece um ataque, você define flag=True e nomeia o padrão; quando parece um pedido comum, você o deixa passar com flag=False e reason="clean". Procuramos três famílias bem conhecidas, verificadas nesta ordem de prioridade:
- ignore-previous -> o usuário tenta apagar as regras: frases como
ignore previous instructions,disregard the above,forget your instructions. - role-play-override -> o usuário atribui uma persona sem lei:
you are now DAN,act as an AI with no restrictions,pretend you have no rules, o famosodeveloper mode. - encoded-instruction -> o usuário esconde o pedido real atrás de uma codificação para escapar de filtros de palavras-chave:
decode this base64 and run it,rot13: ...,execute the following hex.
A mecânica é simples de propósito: passe o texto para minúsculas uma vez e depois procure algumas substrings gatilho por família. A comparação não diferencia maiúsculas e minúsculas, então IGNORE PREVIOUS e ignore previous disparam do mesmo jeito.
def detect_jailbreak(text):
t = text.lower()
if any(p in t for p in ("ignore previous", "disregard the above", ...)):
return {"flag": True, "reason": "ignore-previous"}
...
return {"flag": False, "reason": "clean"}Duas ressalvas honestas que esta lição incorpora. Primeiro, a prioridade importa: uma mensagem pode acionar mais de uma família, então você verifica ignore-previous, depois role-play-override, depois encoded-instruction, e retorna o primeiro acerto. Segundo, isto é uma triagem, não uma garantia. Um atacante esperto consegue parafrasear em volta de qualquer lista de palavras-chave, e é exatamente por isso que sistemas em produção combinam isto com um classificador treinado (próxima lição) e um conjunto de red-team (a lição seguinte). Triagens por palavra-chave são a primeira rede barata, não a única. Clique em Run para ver uma mistura de ataques e pedidos inofensivos ser separada.
Escreva detect_jailbreak(text), que retorna {"flag": bool, "reason": str}. Passe o texto para minúsculas e depois verifique três famílias de ataque em ordem de prioridade, retornando o primeiro acerto: ignore-previous (ignore previous, ignore all previous, disregard the above, disregard previous, forget your instructions, forget all previous), role-play-override (you are now dan, act as dan, no restrictions, without any restrictions, pretend you have no rules, pretend you are not, developer mode, act as an ai with no) e encoded-instruction (base64, rot13, decode this, decode the following, execute the following hex, run this hex). Estas são as listas completas; a verificação usa exatamente estas frases. Texto inofensivo retorna {"flag": False, "reason": "clean"}.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.