Conteúdo do curso Lição 193 de 250 · IA responsável: segurança, moderação e red-teaming
IA responsável: segurança, moderação e red-teaming

Um conjunto adversarial de red-team

Você tem um segurança na porta e um classificador de tom. Como saber se eles realmente funcionam? Você ataca o seu próprio app. Um conjunto de red-team é uma bateria fixa de prompts adversariais que você dispara contra o seu handler protegido a cada mudança, para que uma regressão nas suas defesas apareça como um número em vez de uma manchete. É o equivalente, em segurança, a um conjunto de testes.

Tudo é offline e determinístico. O "modelo" é um pequeno mock, para que o teste seja rápido e nunca chame a rede: um guarded_handler(prompt) que primeiro roda a sua defesa e, só se o prompt for permitido, retorna a resposta sensível (de mentira).

SECRET = "the launch code is 1234"

def guarded_handler(prompt):
    if is_attack(prompt):
        return "I can't help with that."   # blocked
    return SECRET                          # the model 'answered'

Um ataque passou (um vazamento) quando a resposta do handler ainda contém o segredo. Ele foi bloqueado quando a resposta é a recusa. Você vai rodar um conjunto de prompts de ataque rotulados pelo handler e contar o resultado:

{
  "passed":  [...],   # attacks that got through and leaked the secret (bad)
  "blocked": [...],   # attacks the defence stopped (good)
  "leak_rate": 0.0    # fraction of attacks that leaked the secret
}

Uma nota sobre os nomes, porque isso confunde as pessoas: os rótulos seguem a convenção de red-team, nomeados do lado do atacante. Um ataque que vazou o segredo "passou" (ele passou pela sua defesa); um que foi recusado foi "bloqueado". Leia o relatório como o defensor, que é o que importa em produção: blocked é a lista de ataques que sua defesa parou, passed é a lista de ataques que a venceram (os que vazaram), e leak_rate é len(passed) / number_of_attacks. Uma defesa perfeita tem a lista passed vazia e leak_rate igual a 0.0. Clique em Run para ver quais ataques escapam de uma defesa propositalmente furada e depois ver a taxa de vazamento cair para zero quando a defesa é apertada.

Por que simular o modelo

Fazer red-teaming em um LLM real significa milhares de chamadas pagas, lentas e não determinísticas, inúteis dentro de um teste unitário. O mock mantém o formato do problema (uma proteção na frente de uma capacidade) e deixa o conjunto instantâneo e repetível. Em um pipeline real, você troca o mock pelo seu handler de verdade e roda exatamente o mesmo código de pontuação na CI.

Sua vez

Escreva run_suite(handler, attacks, secret), que dispara cada prompt de ataque pelo handler e classifica a resposta: se a resposta ainda contém secret, o ataque passou (vazou); senão, foi bloqueado. Retorne {"passed": [...], "blocked": [...], "leak_rate": round(len(passed)/len(attacks), 4)}, em que as listas guardam os prompts de ataque. Depois defina report = run_suite(guarded_handler, ATTACKS, SECRET) (o guarded_handler da solução bloqueia todo ataque, então leak_rate é 0.0).

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.