Programme Leçon 194 sur 250 · IA responsable : sécurité, modération et red-teaming
IA responsable : sécurité, modération et red-teaming

Calibrer les refus : trop refuser ou pas assez

Bloquer les attaques n'est que la moitié de la sécurité. L'autre moitié, c'est de ne pas trop bloquer. Un modèle qui refuse toute question un peu piquante est sûr et inutile, l'équivalent sécurité d'un détecteur de fumée qui sonne quand tu fais griller du pain. Il faut mesurer les deux types d'échec sur le même jeu étiqueté et régler la ligne entre les deux.

Prends un ensemble de prompts, chacun étiqueté avec ce que l'appli devrait faire : "refuse" (vraiment nuisible) ou "answer" (inoffensif). Ta garde produit un score de risque par prompt, et tu refuses quand le score franchit un seuil. Deux erreurs peuvent arriver :

  • Trop de refus (un faux positif) : tu as refusé un prompt auquel tu aurais dû répondre. Agaçant, ça fait fuir les utilisateurs.
  • Pas assez de refus (un faux négatif) : tu as répondu à un prompt que tu aurais dû refuser. Dangereux, c'est le risque qui fait les gros titres.

En prenant "refuse" comme classe positive, les métriques standard racontent toute l'histoire :

precision = TP / (TP + FP)   # of what I refused, how much truly needed refusing
recall    = TP / (TP + FN)   # of the truly-harmful, how much I caught
f1        = 2 * P * R / (P + R)

Une faible précision veut dire que tu refuses trop (beaucoup de prompts inoffensifs dans tes refus). Un faible rappel veut dire que tu ne refuses pas assez (des prompts nuisibles passent). Les deux s'équilibrent quand tu bouges le seuil : refuse agressivement et le rappel monte pendant que la précision baisse ; refuse prudemment et c'est l'inverse. Tu vas écrire refusal_metrics(scores, labels, threshold) puis best_threshold(scores, labels, candidates) qui balaie des seuils candidats et renvoie celui au plus haut F1, le chiffre unique qui refuse de laisser l'une des deux erreurs s'emballer.

Deux détails de justesse vérifiés par les tests. Refuse quand score >= threshold (supérieur ou égal, donc un score pile sur la ligne refuse). Et quand le dénominateur d'une métrique est nul (tu n'as rien refusé, donc la précision est indéfinie), renvoie 0.0 au lieu de planter. Tes métriques doivent concorder avec precision_score, recall_score et f1_score de scikit-learn avec zero_division=0, car il ne faut jamais livrer des métriques faites maison qui contredisent la bibliothèque testée.

À ton tour

Écris refusal_metrics(scores, labels, threshold) où labels valent "refuse"/"answer" et où tu prédis un refus quand score >= threshold. Prends "refuse" comme classe positive et renvoie {"precision", "recall", "f1"}, chacun arrondi à 4 décimales avec round, avec 0.0 pour toute métrique à dénominateur nul (doit concorder avec sklearn avec zero_division=0). Puis écris best_threshold(scores, labels, candidates) qui renvoie le candidat au plus haut F1 (le seuil le plus bas gagne en cas d'égalité), et écris best = best_threshold(SCORES, LABELS, CANDIDATES).

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.