¿Estar seguro al 80% significa acertar el 80% de las veces?
Por qué importa La confianza de un modelo solo es útil si es honesta. Un asistente médico que dice "seguro al 90%" y acierta la mitad de las veces es peligroso.
Un modelo está calibrado si, entre todas las predicciones que hace con más o menos un 80% de confianza, más o menos el 80% son correctas. Para comprobarlo: reparte las predicciones en intervalos según su confianza (de 0 a 0.1, de 0.1 a 0.2, y así sucesivamente); en cada intervalo compara la confianza media con la exactitud real. Dibujar una frente a la otra es un diagrama de fiabilidad; la calibración perfecta es la diagonal.
El error de calibración esperado (ECE) suma la diferencia de cada intervalo, ponderada por cuántas predicciones cayeron en él: sum over bins of (count / total) * |accuracy - confidence|.
Números diminutos
Cuatro predicciones con confianza 0.9, de las que 2 son correctas: la diferencia de ese intervalo es |0.5 - 0.9| = 0.4. Si son todas las predicciones, ECE = 0.4.
Palabras y símbolos de esta lección
- calibración, ECE
- si la confianza coincide con la exactitud; la diferencia media ponderada
Escribe ece(confidence, correct, bins=10) con intervalos de igual anchura de 0 a 1 (una confianza de exactamente 1.0 va al intervalo de arriba; sáltate los intervalos vacíos).
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.