Programma Lezione 107 di 246 · Modulo 9: È davvero migliore?
Modulo 9: È davvero migliore?

"Sicuro all'80%" significa giusto l'80% delle volte?

Perché è importante La sicurezza di un modello è utile solo se è onesta. Un assistente medico che dice "sicuro al 90%" e ha ragione metà delle volte è pericoloso.

Un modello è calibrato se, tra tutte le previsioni che fa con circa l'80% di sicurezza, circa l'80% sono giuste. Per verificarlo: smista le previsioni in contenitori per sicurezza (da 0 a 0.1, da 0.1 a 0.2, e così via); in ogni contenitore confronta la sicurezza media con l'accuratezza reale. Disegnare l'una contro l'altra è un diagramma di affidabilità; la calibrazione perfetta è la diagonale.

L'errore di calibrazione atteso (ECE) somma lo scarto in ogni contenitore, pesato per quante previsioni ci sono cadute: sum over bins of (count / total) * |accuracy - confidence|.

Numeri piccolissimi

Quattro previsioni con sicurezza 0.9, di cui 2 giuste: lo scarto di quel contenitore è |0.5 - 0.9| = 0.4. Se sono tutte le previsioni, ECE = 0.4.

Parole e simboli di questa lezione
calibrazione, ECE
se la sicurezza corrisponde all'accuratezza; lo scarto medio pesato
Tocca a te

Scrivi ece(confidence, correct, bins=10) con contenitori di uguale larghezza da 0 a 1 (una sicurezza esattamente 1.0 va nel contenitore più alto; salta i contenitori vuoti).

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.