Kalibrierung von Ablehnungen: Über- vs. Unter-Ablehnung
Blocking attacks ist nur die halbe Sicherheit. Die andere Hälfte ist nicht zu viel Blockieren. Ein Modell, das jede leicht pikante Frage verweigert, ist sicher und nutzlos, das Sicherheitsäquivalent zu einem Rauchmelder, der losgeht, wenn du Toast machst. Du musst beide Fehlermodi auf demselben gelabelten Set messen und die Linie zwischen ihnen anpassen.
Nimm eine Menge von Prompts, die jeweils mit dem beschriftet sind, was die App should tun soll: "refuse" (wirklich schädlich) oder "answer" (harmlos). Dein Guard erzeugt einen risk score pro Prompt, und du lehnst ab, wenn der Score einen threshold überschreitet. Zwei Fehler können passieren:
- Übermäßiger Verweigerung (ein falsch-positives Ergebnis): du hast einen Prompt abgelehnt, den du beantwortet hättest. Nervig, vertreibt Nutzer.
- Under-refusal (ein falsches Negativ): du hast einen Prompt beantwortet, den du abgelehnt hättest. Gefährlich, das Hauptrisiko.
Wenn man "refuse" als die positive Klasse betrachtet, erzählen die Standardmetriken die ganze Geschichte:
precision = TP / (TP + FP) # of what I refused, how much truly needed refusing
recall = TP / (TP + FN) # of the truly-harmful, how much I caught
f1 = 2 * P * R / (P + R)Geringe Präzision bedeutet, dass du zu oft ablehnst (viele harmlose Prompts in deinen Ablehnungen). Geringer Recall bedeutet, dass du zu wenig ablehnst (schädliche Prompts schlüpfen durch). Sie stehen in einem Trade-off, wenn du den Schwellenwert verschiebst: lehne aggressiv ab und der Recall steigt, während die Präzision sinkt; lehne konservativ ab und umgekehrt. Du wirst refusal_metrics(scores, labels, threshold) schreiben und dann best_threshold(scores, labels, candidates), das die Kandidaten-Schwellenwerte durchläuft und denjenigen mit dem höchsten F1 zurückgibt, der einzige Wert, der verhindert, dass einer der Fehler aus dem Ruder läuft.
Zwei Korrektheitsdetails prüfen die Tests. Lehne ab, wenn score >= threshold (größer-oder-gleich, also lehnt ein Wert genau auf der Linie ab). Und wenn der Nenner einer Metrik Null ist (du hast nichts abgelehnt, also ist die Präzision undefiniert), gib 0.0 zurück, anstatt abzustürzen. Deine Metriken müssen mit scikit-learns precision_score, recall_score und f1_score mit zero_division=0 übereinstimmen, weil du niemals handgefertigte Metriken ausliefern solltest, die nicht mit der getesteten Bibliothek übereinstimmen.
Schreibe refusal_metrics(scores, labels, threshold), wo labels sind "refuse"/"answer" und du eine Ablehnung vorhersagst, wenn score >= threshold. Behandle "refuse" als positiv und gib {"precision", "recall", "f1"} zurück, jedes round auf 4 Stellen gerundet, mit 0.0 für jede Metrik mit Null im Nenner (muss mit sklearn mit zero_division=0 übereinstimmen). Schreibe dann best_threshold(scores, labels, candidates), das den Kandidaten mit dem höchsten F1 zurückgibt (der niedrigste Schwellenwert gewinnt bei einem Gleichstand), und setze best = best_threshold(SCORES, LABELS, CANDIDATES).
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.