Beteken 80% seker dat dit 80% van die tyd reg is?
Waarom dit saak maak 'n model se vertroue is net nuttig as dit eerlik is. 'n Dokter se assistent wat sê "90% seker" en die helfte van die tyd reg is, is gevaarlik.
A model is calibrated as, van al die voorspellings wat dit met ongeveer 80% vertroue maak, is ongeveer 80% reg. Om dit te kontroleer: sorteer voorspellings in bins volgens vertroue (0 tot 0.1, 0.1 tot 0.2, en so voort); vergelyk in elke bin die gemiddelde vertroue met die werklike akkuraatheid. Om een teen die ander te plot is 'n reliability diagram; perfekte kalibrasie is die diagonaal.
Verwagte kalibrasiefout (ECE) tel die gaping in elke bin bymekaar, gewig volgens hoeveel voorspellings daarin geval het: sum over bins of (count / total) * |accuracy - confidence|.
Klein getalle
Vier voorspellings by 'n vertroue van 0.9, waarvan 2 reg is: daardie bin se gaping is |0.5 - 0.9| = 0.4. As dit al die voorspellings is, is ECE = 0.4.
Woorde en simbole in hierdie les
- kalibrasie, ECE
- of vertroulikheid ooreenstem met akkuraatheid; die gewigte gemiddelde gaping
Skryf ece(confidence, correct, bins=10) met gelyke breedte bins van 0 tot 1 ( 'n vertroue van presies 1.0 gaan in die boonste bin; skuif leë bins o).
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.