Betekent 80% zeker dat het 80% van de tijd goed is?
Waarom dit ertoe doet Het vertrouwen van een model is alleen nuttig als het eerlijk is. Een assistent van een dokter die "90% zeker" zegt en de helft van de tijd gelijk heeft is gevaarlijk.
A model is calibrated als, van alle voorspellingen die het doet met ongeveer 80% vertrouwen, ongeveer 80% juist zijn. Om dit te controleren: sorteer voorspellingen in bins op basis van vertrouwen (0 tot 0.1, 0.1 tot 0.2, enzovoort); vergelijk in elke bin het gemiddelde vertrouwen met de werkelijke nauwkeurigheid. Het plotten van de één tegenover de ander is een reliability diagram; perfecte kalibratie is de diagonaal.
Expected calibration error (ECE) telt de kloof in elke bin op, gewogen door hoeveel voorspellingen erin vielen: sum over bins of (count / total) * |accuracy - confidence|.
Tintalletjes
Vier voorspellingen met een betrouwbaarheid van 0.9, waarvan er 2 juist zijn: de gap van die bin is |0.5 - 0.9| = 0.4. Als dit alle voorspellingen zijn, is ECE = 0.4.
Woorden en symbolen in deze les
- kalibratie, ECE
- of de betrouwbaarheid overeenkomt met de nauwkeurigheid; de gewogen gemiddelde kloof
Schrijf ece(confidence, correct, bins=10) met bins van gelijke breedte van 0 tot 1 (een betrouwbaarheid van precies 1.0 gaat in de bovenste bin; sla lege bins over).
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.