Programma Les 107 van 246 · Module 9: Is het echt beter?
Module 9: Is het echt beter?

Betekent 80% zeker dat het 80% van de tijd goed is?

Waarom dit ertoe doet Het vertrouwen van een model is alleen nuttig als het eerlijk is. Een assistent van een dokter die "90% zeker" zegt en de helft van de tijd gelijk heeft is gevaarlijk.

Een

A model is calibrated als, van alle voorspellingen die het doet met ongeveer 80% vertrouwen, ongeveer 80% juist zijn. Om dit te controleren: sorteer voorspellingen in bins op basis van vertrouwen (0 tot 0.1, 0.1 tot 0.2, enzovoort); vergelijk in elke bin het gemiddelde vertrouwen met de werkelijke nauwkeurigheid. Het plotten van de één tegenover de ander is een reliability diagram; perfecte kalibratie is de diagonaal.

Expected calibration error (ECE) telt de kloof in elke bin op, gewogen door hoeveel voorspellingen erin vielen: sum over bins of (count / total) * |accuracy - confidence|.

Tintalletjes

Vier voorspellingen met een betrouwbaarheid van 0.9, waarvan er 2 juist zijn: de gap van die bin is |0.5 - 0.9| = 0.4. Als dit alle voorspellingen zijn, is ECE = 0.4.

Woorden en symbolen in deze les
kalibratie, ECE
of de betrouwbaarheid overeenkomt met de nauwkeurigheid; de gewogen gemiddelde kloof
Jij bent aan de beurt

Schrijf ece(confidence, correct, bins=10) met bins van gelijke breedte van 0 tot 1 (een betrouwbaarheid van precies 1.0 gaat in de bovenste bin; sla lege bins over).

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.