Betrouwbaarheidsdrempels & Onthouding
A classifier altijd geeft een antwoord, zelfs als het geen idee heeft. Softmax moet optellen tot 1, dus een echt verward model geeft je nog steeds een top label -> maar dan met een lage waarschijnlijkheid erachter. In productie is dat gevaarlijk: een klant stilzwijgend verkeerd routeren is erger dan toegeven dat je het niet zeker weet.
De oplossing is een confidence threshold met een abstain optie. Je kijkt naar de waarschijnlijkheid van het bovenste label; als het de drempel haalt dan handel je erin, en als het dat niet doet dan geef je een speciaal "abstain" verdict dat de aanvraag doorgeeft aan een mens (of escaleert naar een duurder model). Dit is de menselijke overdracht poort die elk serieus LLM systeem heeft.
probs = [0.80, 0.12, 0.08] # model is confident
labels = ["billing", "technical", "account"]
# top prob 0.80 >= 0.6 -> return "billing"
probs = [0.40, 0.35, 0.25] # model is unsure
# top prob 0.40 < 0.6 -> return "abstain"De drempelwaarde is een knop die je afstelt op basis van data: verhoog je hem, dan onthoud je vaker (veiliger, meer menselijk werk); verlaag je hem, dan handel je vaker (goedkoper, risicovoller). De grens zelf is belangrijk -> beslis of een kans die precies gelijk is aan de drempelwaarde als zeker wordt beschouwd. Hier gebruiken we >= threshold betekent confident (de grenswaarde wordt toegelaten).
Waar komen de waarschijnlijkheden vandaan? Meestal model.predict_proba(...) van de classifier die je eerder hebt gebouwd, of de per-prototype cosine scores genormaliseerd naar een verdeling. In beide gevallen is de gating logica dezelfde kleine functie, en deze is puur en deterministisch -> precies het soort guardrail dat je kunt unit-testen.
Bouw één functie. classify_with_threshold(probs, labels, threshold): vind het label met de hoogste waarschijnlijkheid; als die waarschijnlijkheid >= threshold is, geef dan het label terug, anders geef de string "abstain" terug. probs en labels zijn uitgelijnde lijsten. Druk op Run om te zien hoe een zeker geval doorgaat en een onzekere zich onthoudt.
Schrijf classify_with_threshold(probs, labels, threshold) waar probs en labels uitgelijnde lijsten zijn. Geef het label met de hoogste waarschijnlijkheid terug, maar alleen als die waarschijnlijkheid >= threshold is; anders geef je de string "abstain" terug. Behandel een waarschijnlijkheid die precies gelijk is aan de drempelwaarde als zeker.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.