Calibrando recusas: recusar demais vs recusar de menos
Bloquear ataques é só metade da segurança. A outra metade é não bloquear demais. Um modelo que recusa toda pergunta um pouco picante é seguro e inútil, o equivalente em segurança a um alarme de fumaça que dispara quando você faz torrada. Você precisa medir os dois modos de falha no mesmo conjunto rotulado e ajustar a linha entre eles.
Pegue um conjunto de prompts, cada um rotulado com o que o app deveria fazer: "refuse" (realmente nocivo) ou "answer" (inofensivo). Sua proteção produz uma pontuação de risco por prompt, e você recusa quando a pontuação ultrapassa um limite. Dois erros podem acontecer:
- Recusa em excesso (um falso positivo): você recusou um prompt que deveria ter respondido. Irritante, afasta os usuários.
- Recusa insuficiente (um falso negativo): você respondeu a um prompt que deveria ter recusado. Perigoso, é o risco que vira manchete.
Tratando "refuse" como a classe positiva, as métricas padrão contam toda a história:
precision = TP / (TP + FP) # of what I refused, how much truly needed refusing
recall = TP / (TP + FN) # of the truly-harmful, how much I caught
f1 = 2 * P * R / (P + R)Precision baixa significa que você está recusando demais (muitos prompts inofensivos entre suas recusas). Recall baixo significa que você está recusando de menos (prompts nocivos escapando). Os dois se compensam conforme você move o limite: recuse com agressividade e o recall sobe enquanto a precision cai; recuse com cautela e acontece o contrário. Você vai escrever refusal_metrics(scores, labels, threshold) e depois best_threshold(scores, labels, candidates), que varre limites candidatos e retorna o que tem o maior F1, o número único que não deixa nenhum dos erros sair do controle.
Dois detalhes de correção que os testes verificam. Recuse quando score >= threshold (maior ou igual, para que uma pontuação exatamente na linha recuse). E quando o denominador de uma métrica for zero (você não recusou nada, então a precision fica indefinida), retorne 0.0 em vez de quebrar. Suas métricas precisam bater com precision_score, recall_score e f1_score do scikit-learn com zero_division=0, porque você nunca deve entregar métricas feitas à mão que discordem da biblioteca testada.
Escreva refusal_metrics(scores, labels, threshold), em que labels são "refuse"/"answer" e você prevê recusa quando score >= threshold. Trate "refuse" como positivo e retorne {"precision", "recall", "f1"}, cada um com round para 4 casas, com 0.0 para qualquer métrica de denominador zero (precisa bater com o sklearn com zero_division=0). Depois escreva best_threshold(scores, labels, candidates), que retorna o candidato com o maior F1 (em caso de empate, vence o menor limite), e defina best = best_threshold(SCORES, LABELS, CANDIDATES).
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.