Temario Lección 107 de 246 · Módulo 9: ¿De verdad es mejor?
Módulo 9: ¿De verdad es mejor?

¿Estar seguro al 80% significa acertar el 80% de las veces?

Por qué importa La confianza de un modelo solo es útil si es honesta. Un asistente médico que dice "seguro al 90%" y acierta la mitad de las veces es peligroso.

Un modelo está calibrado si, entre todas las predicciones que hace con más o menos un 80% de confianza, más o menos el 80% son correctas. Para comprobarlo: reparte las predicciones en intervalos según su confianza (de 0 a 0.1, de 0.1 a 0.2, y así sucesivamente); en cada intervalo compara la confianza media con la exactitud real. Dibujar una frente a la otra es un diagrama de fiabilidad; la calibración perfecta es la diagonal.

El error de calibración esperado (ECE) suma la diferencia de cada intervalo, ponderada por cuántas predicciones cayeron en él: sum over bins of (count / total) * |accuracy - confidence|.

Números diminutos

Cuatro predicciones con confianza 0.9, de las que 2 son correctas: la diferencia de ese intervalo es |0.5 - 0.9| = 0.4. Si son todas las predicciones, ECE = 0.4.

Palabras y símbolos de esta lección
calibración, ECE
si la confianza coincide con la exactitud; la diferencia media ponderada
Tu turno

Escribe ece(confidence, correct, bins=10) con intervalos de igual anchura de 0 a 1 (una confianza de exactamente 1.0 va al intervalo de arriba; sáltate los intervalos vacíos).

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.