Programma Les 194 van 250 · Verantwoorde AI: Veiligheid, Moderatie & Red-Teaming
Verantwoorde AI: Veiligheid, Moderatie & Red-Teaming

Het kalibreren van weigeringen: Over- versus onder-weigering

Aanvallen blokkeren is maar de helft van veiligheid. De andere helft is niet te veel blokkeren. Een model dat elke licht pittige vraag weigert, is veilig en nutteloos, het veiligheidsequivalent van een rookmelder die afgaat als je toast maakt. Je moet beide soorten fouten op dezelfde gelabelde set meten en de grens ertussen afstemmen.

Neem een set prompts die elk gelabeld zijn met wat de app zou moeten doen: "refuse" (echt schadelijk) of "answer" (onschuldig). Je bewaker geeft per prompt een risicoscore, en je weigert als de score een drempel overschrijdt. Er kunnen twee fouten gebeuren:

  • Te veel weigeren (een fout-positief): je weigerde een prompt die je had moeten beantwoorden. Vervelend, het jaagt gebruikers weg.
  • Te weinig weigeren (een fout-negatief): je beantwoordde een prompt die je had moeten weigeren. Gevaarlijk, het risico dat in het nieuws komt.

Als je "refuse" als de positieve klasse behandelt, vertellen de standaardmaten het hele verhaal:

precision = TP / (TP + FP)   # of what I refused, how much truly needed refusing
recall    = TP / (TP + FN)   # of the truly-harmful, how much I caught
f1        = 2 * P * R / (P + R)

Een lage precisie betekent dat je te veel weigert (veel onschuldige prompts tussen je weigeringen). Een lage recall betekent dat je te weinig weigert (schadelijke prompts glippen erdoor). Ze ruilen tegen elkaar in als je de drempel verschuift: weiger agressief en de recall stijgt terwijl de precisie daalt; weiger voorzichtig en het omgekeerde gebeurt. Je schrijft refusal_metrics(scores, labels, threshold) en daarna best_threshold(scores, labels, candidates), dat kandidaat-drempels afloopt en die met de hoogste F1 teruggeeft, het ene getal dat geen van beide fouten laat ontsporen.

Twee details over juistheid die de tests controleren. Weiger als score >= threshold (groter of gelijk, dus een score precies op de grens weigert). En als de noemer van een maat nul is (je weigerde niets, dus de precisie is niet gedefinieerd), geef dan 0.0 terug in plaats van te crashen. Je maten moeten overeenkomen met precision_score, recall_score en f1_score van scikit-learn met zero_division=0, want je moet nooit zelfgemaakte maten uitbrengen die het oneens zijn met de geteste bibliotheek.

Jij bent aan de beurt

Schrijf refusal_metrics(scores, labels, threshold) waar labels zijn "refuse"/"answer" en je voorspelt refuse wanneer score >= threshold. Behandel "refuse" als positief en geef {"precision", "recall", "f1"} terug, elk round tot 4 plaatsen, met 0.0 voor elke metriek met een nul in de noemer (moet overeenkomen met sklearn met zero_division=0). Schrijf dan best_threshold(scores, labels, candidates) die de kandidaat met de hoogste F1 teruggeeft (de laagste drempel wint bij een gelijkspel) en stel best = best_threshold(SCORES, LABELS, CANDIDATES) in.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.