Konfidenzschwellen & Abstinenz
A classifier always gibt immer eine Antwort zurück, selbst wenn er keine Ahnung hat. Softmax muss sich auf 1 summieren, also liefert ein wirklich verwirrtes Modell dir trotzdem ein Top-Label -> nur mit einer niedrigen Wahrscheinlichkeit dahinter. In der Produktion ist das gefährlich: einen Kunden stillschweigend falsch zu routen ist schlimmer als zuzugeben, dass du dir unsicher bist.
Die Lösung ist eine confidence threshold mit einer abstain Option. Du schaust dir die Wahrscheinlichkeit des obersten Labels an. Wenn sie die Hürde überschreitet, handelst du danach. Wenn nicht, gibst du ein spezielles "abstain" Urteil zurück, das die Anfrage an einen Menschen übergibt (oder an ein teureres Modell weiterleitet). Dies ist das Human-Handoff-Gate, das jedes ernsthafte LLM-System hat.
probs = [0.80, 0.12, 0.08] # model is confident
labels = ["billing", "technical", "account"]
# top prob 0.80 >= 0.6 -> return "billing"
probs = [0.40, 0.35, 0.25] # model is unsure
# top prob 0.40 < 0.6 -> return "abstain"Die Schwelle ist ein Regler, den du anhand von Daten einstellst: Erhöhe sie und du verzichtest öfter (sicherer, mehr menschliche Arbeit); senke sie und du handelst öfter (billiger, riskanter). Die Grenze selbst ist wichtig -> entscheide, ob eine Wahrscheinlichkeit genau gleich der Schwelle als sicher zählt. Hier verwenden wir >= threshold bedeutet confident (der Grenzwert wird zugelassen).
Woher kommen die Wahrscheinlichkeiten? Normalerweise model.predict_proba(...) vom Classifier, den du zuvor gebaut hast, oder von den pro-Prototyp Cosine-Scores, die in eine Verteilung normalisiert wurden. In jedem Fall ist die Gating-Logik dieselbe kleine Funktion, und sie ist rein und deterministisch -> genau die Art von Guardrail, die du unit-testen kannst.
Baue eine Funktion. classify_with_threshold(probs, labels, threshold): finde das Label mit der höchsten Wahrscheinlichkeit; wenn diese Wahrscheinlichkeit >= threshold ist, gib das Label zurück, ansonsten gib den String "abstain" zurück. probs und labels sind ausgerichtete Listen. Drücke Run um zu sehen, wie ein sicherer Fall durchgeht und ein unsicherer einen Rückzug macht.
Schreibe classify_with_threshold(probs, labels, threshold), wo probs und labels ausgerichtete Listen sind. Gib das Label zurück, dessen Wahrscheinlichkeit am höchsten ist, aber nur wenn diese Wahrscheinlichkeit >= threshold ist; ansonsten gib den String "abstain" zurück. Behandle eine Wahrscheinlichkeit, die exakt dem Schwellenwert entspricht, als sicher.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.