Lehrplan Lektion 107 von 246 · Modul 9: Ist es wirklich besser?
Modul 9: Ist es wirklich besser?

Bedeutet 80% sicher, dass es 80% der Zeit richtig ist?

Warum das wichtig ist Die Zuversicht eines Modells ist nur nützlich, wenn sie ehrlich ist. Ein Assistent eines Arztes, der "90% sicher" sagt und nur halb der Zeit recht hat, ist gefährlich.

Ein

A Modell ist calibrated, wenn von allen Vorhersagen, die es mit etwa 80% Konfidenz macht, etwa 80% richtig sind. Zum Prüfen: Sortiere die Vorhersagen in Bins nach Konfidenz (0 bis 0.1, 0.1 bis 0.2 und so weiter). Vergleiche in jedem Bin die durchschnittliche Konfidenz mit der tatsächlichen accuracy. Das Plotten einer gegen die andere ist ein reliability diagram; eine perfekte Kalibrierung ist die Diagonale.

Erwarteter Kalibrierungsfehler (ECE) summiert die Lücke in jedem Bin, gewichtet nach der Anzahl der Vorhersagen, die darin fielen: sum over bins of (count / total) * |accuracy - confidence|.

Kleine Zahlen

Vier Vorhersagen mit Konfidenz 0.9, von denen 2 richtig sind: die Lücke dieses Bins ist |0.5 - 0.9| = 0.4. Wenn das alle Vorhersagen sind, ist ECE = 0.4.

Wörter und Symbole in dieser Lektion
calibration, ECE
ob, ob das Vertrauen mit der Genauigkeit übereinstimmt; die Lücke des gewichteten Durchschnitts
Du bist dran

Schreibe ece(confidence, correct, bins=10) mit gleichbreiten Bins von 0 bis 1 (ein Konfidenzwert von genau 1.0 kommt in den obersten Bin; überspringe leere Bins).

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.