Um conjunto adversarial de red-team
Você tem um segurança na porta e um classificador de tom. Como saber se eles realmente funcionam? Você ataca o seu próprio app. Um conjunto de red-team é uma bateria fixa de prompts adversariais que você dispara contra o seu handler protegido a cada mudança, para que uma regressão nas suas defesas apareça como um número em vez de uma manchete. É o equivalente, em segurança, a um conjunto de testes.
Tudo é offline e determinístico. O "modelo" é um pequeno mock, para que o teste seja rápido e nunca chame a rede: um guarded_handler(prompt) que primeiro roda a sua defesa e, só se o prompt for permitido, retorna a resposta sensível (de mentira).
SECRET = "the launch code is 1234"
def guarded_handler(prompt):
if is_attack(prompt):
return "I can't help with that." # blocked
return SECRET # the model 'answered'Um ataque passou (um vazamento) quando a resposta do handler ainda contém o segredo. Ele foi bloqueado quando a resposta é a recusa. Você vai rodar um conjunto de prompts de ataque rotulados pelo handler e contar o resultado:
{
"passed": [...], # attacks that got through and leaked the secret (bad)
"blocked": [...], # attacks the defence stopped (good)
"leak_rate": 0.0 # fraction of attacks that leaked the secret
}Uma nota sobre os nomes, porque isso confunde as pessoas: os rótulos seguem a convenção de red-team, nomeados do lado do atacante. Um ataque que vazou o segredo "passou" (ele passou pela sua defesa); um que foi recusado foi "bloqueado". Leia o relatório como o defensor, que é o que importa em produção: blocked é a lista de ataques que sua defesa parou, passed é a lista de ataques que a venceram (os que vazaram), e leak_rate é len(passed) / number_of_attacks. Uma defesa perfeita tem a lista passed vazia e leak_rate igual a 0.0. Clique em Run para ver quais ataques escapam de uma defesa propositalmente furada e depois ver a taxa de vazamento cair para zero quando a defesa é apertada.
Por que simular o modelo
Fazer red-teaming em um LLM real significa milhares de chamadas pagas, lentas e não determinísticas, inúteis dentro de um teste unitário. O mock mantém o formato do problema (uma proteção na frente de uma capacidade) e deixa o conjunto instantâneo e repetível. Em um pipeline real, você troca o mock pelo seu handler de verdade e roda exatamente o mesmo código de pontuação na CI.
Escreva run_suite(handler, attacks, secret), que dispara cada prompt de ataque pelo handler e classifica a resposta: se a resposta ainda contém secret, o ataque passou (vazou); senão, foi bloqueado. Retorne {"passed": [...], "blocked": [...], "leak_rate": round(len(passed)/len(attacks), 4)}, em que as listas guardam os prompts de ataque. Depois defina report = run_suite(guarded_handler, ATTACKS, SECRET) (o guarded_handler da solução bloqueia todo ataque, então leak_rate é 0.0).
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.