Bedeutet 80% sicher, dass es 80% der Zeit richtig ist?
Warum das wichtig ist Die Zuversicht eines Modells ist nur nützlich, wenn sie ehrlich ist. Ein Assistent eines Arztes, der "90% sicher" sagt und nur halb der Zeit recht hat, ist gefährlich.
A Modell ist calibrated, wenn von allen Vorhersagen, die es mit etwa 80% Konfidenz macht, etwa 80% richtig sind. Zum Prüfen: Sortiere die Vorhersagen in Bins nach Konfidenz (0 bis 0.1, 0.1 bis 0.2 und so weiter). Vergleiche in jedem Bin die durchschnittliche Konfidenz mit der tatsächlichen accuracy. Das Plotten einer gegen die andere ist ein reliability diagram; eine perfekte Kalibrierung ist die Diagonale.
Erwarteter Kalibrierungsfehler (ECE) summiert die Lücke in jedem Bin, gewichtet nach der Anzahl der Vorhersagen, die darin fielen: sum over bins of (count / total) * |accuracy - confidence|.
Kleine Zahlen
Vier Vorhersagen mit Konfidenz 0.9, von denen 2 richtig sind: die Lücke dieses Bins ist |0.5 - 0.9| = 0.4. Wenn das alle Vorhersagen sind, ist ECE = 0.4.
Wörter und Symbole in dieser Lektion
- calibration, ECE
- ob, ob das Vertrauen mit der Genauigkeit übereinstimmt; die Lücke des gewichteten Durchschnitts
Schreibe ece(confidence, correct, bins=10) mit gleichbreiten Bins von 0 bis 1 (ein Konfidenzwert von genau 1.0 kommt in den obersten Bin; überspringe leere Bins).
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.