"Sicuro all'80%" significa giusto l'80% delle volte?
Perché è importante La sicurezza di un modello è utile solo se è onesta. Un assistente medico che dice "sicuro al 90%" e ha ragione metà delle volte è pericoloso.
Un modello è calibrato se, tra tutte le previsioni che fa con circa l'80% di sicurezza, circa l'80% sono giuste. Per verificarlo: smista le previsioni in contenitori per sicurezza (da 0 a 0.1, da 0.1 a 0.2, e così via); in ogni contenitore confronta la sicurezza media con l'accuratezza reale. Disegnare l'una contro l'altra è un diagramma di affidabilità; la calibrazione perfetta è la diagonale.
L'errore di calibrazione atteso (ECE) somma lo scarto in ogni contenitore, pesato per quante previsioni ci sono cadute: sum over bins of (count / total) * |accuracy - confidence|.
Numeri piccolissimi
Quattro previsioni con sicurezza 0.9, di cui 2 giuste: lo scarto di quel contenitore è |0.5 - 0.9| = 0.4. Se sono tutte le previsioni, ECE = 0.4.
Parole e simboli di questa lezione
- calibrazione, ECE
- se la sicurezza corrisponde all'accuratezza; lo scarto medio pesato
Scrivi ece(confidence, correct, bins=10) con contenitori di uguale larghezza da 0 a 1 (una sicurezza esattamente 1.0 va nel contenitore più alto; salta i contenitori vuoti).
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.