La entropía cruzada es la verosimilitud disfrazada
Por qué importa Los clasificadores se entrenan con una pérdida llamada entropía cruzada. Suena nueva, pero es la idea de la verosimilitud de hace dos lecciones.
Números diminutos
Un modelo dice que las probabilidades de los dígitos 0, 1 y 2 son [0.665, 0.245, 0.090]. El dígito verdadero es 0. ¿Qué probabilidad le dio el modelo a la verdad? 0.665. Con la máxima verosimilitud queremos ese número grande; como pérdida queremos algo pequeño, así que tomamos menos su log: -log(0.665) = 0.408.
Si el dígito verdadero fuera el 2, la pérdida sería -log(0.090) = 2.41: el modelo le dio a la verdad solo un 9%, así que se le castiga fuerte. Una predicción perfecta (probabilidad 1) tiene pérdida 0.
Pérdida de entropía cruzada: menos el log de la probabilidad que el modelo dio a la respuesta verdadera, hecha la media sobre los ejemplos. Es exactamente la log-verosimilitud negativa.
Elegir una entrada por fila
Con un lote necesitas, para cada fila, la probabilidad en la columna verdadera de esa fila. NumPy lo hace con dos arrays de índices de la misma longitud: probs[rows, cols] elige probs[rows[0], cols[0]], probs[rows[1], cols[1]] y así sucesivamente. Con probs = [[0.7, 0.3], [0.2, 0.8]] y las etiquetas [0, 1], probs[np.arange(2), labels] da [0.7, 0.8]: fila 0 columna 0, y luego fila 1 columna 1. Esto se llama indexación avanzada.
Una referencia útil: un modelo que adivina de forma uniforme entre 10 clases le da a cada una 0.1, así que su pérdida es -log(0.1) = 2.30. Un clasificador recién creado empieza cerca de ahí.
Resumen Pérdida = -log(probabilidad dada a la verdad).
Palabras y símbolos de esta lección
- verosimilitud
- lo probables que son los datos que viste con un ajuste del modelo
- entropía cruzada
- menos el log de la probabilidad dada a la respuesta correcta
Escribe cross_entropy(probs, labels): probs es (batch, classes) de probabilidades, labels guarda la clase verdadera de cada fila; devuelve la media de -log(probabilidad de la clase verdadera). Sin bucles. Luego pon en uniform_10_loss la pérdida de una suposición uniforme entre 10 clases.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.