Temario Lección 35 de 246 · Módulo 2: Matemáticas y probabilidad, solo lo necesario
Módulo 2: Matemáticas y probabilidad, solo lo necesario

La entropía cruzada es la verosimilitud disfrazada

Por qué importa Los clasificadores se entrenan con una pérdida llamada entropía cruzada. Suena nueva, pero es la idea de la verosimilitud de hace dos lecciones.

Números diminutos

Un modelo dice que las probabilidades de los dígitos 0, 1 y 2 son [0.665, 0.245, 0.090]. El dígito verdadero es 0. ¿Qué probabilidad le dio el modelo a la verdad? 0.665. Con la máxima verosimilitud queremos ese número grande; como pérdida queremos algo pequeño, así que tomamos menos su log: -log(0.665) = 0.408.

Si el dígito verdadero fuera el 2, la pérdida sería -log(0.090) = 2.41: el modelo le dio a la verdad solo un 9%, así que se le castiga fuerte. Una predicción perfecta (probabilidad 1) tiene pérdida 0.

Pérdida de entropía cruzada: menos el log de la probabilidad que el modelo dio a la respuesta verdadera, hecha la media sobre los ejemplos. Es exactamente la log-verosimilitud negativa.

Elegir una entrada por fila

Con un lote necesitas, para cada fila, la probabilidad en la columna verdadera de esa fila. NumPy lo hace con dos arrays de índices de la misma longitud: probs[rows, cols] elige probs[rows[0], cols[0]], probs[rows[1], cols[1]] y así sucesivamente. Con probs = [[0.7, 0.3], [0.2, 0.8]] y las etiquetas [0, 1], probs[np.arange(2), labels] da [0.7, 0.8]: fila 0 columna 0, y luego fila 1 columna 1. Esto se llama indexación avanzada.

Una referencia útil: un modelo que adivina de forma uniforme entre 10 clases le da a cada una 0.1, así que su pérdida es -log(0.1) = 2.30. Un clasificador recién creado empieza cerca de ahí.

Resumen Pérdida = -log(probabilidad dada a la verdad).

Palabras y símbolos de esta lección
verosimilitud
lo probables que son los datos que viste con un ajuste del modelo
entropía cruzada
menos el log de la probabilidad dada a la respuesta correcta
Tu turno

Escribe cross_entropy(probs, labels): probs es (batch, classes) de probabilidades, labels guarda la clase verdadera de cada fila; devuelve la media de -log(probabilidad de la clase verdadera). Sin bucles. Luego pon en uniform_10_loss la pérdida de una suposición uniforme entre 10 clases.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.