Temario Lección 47 de 246 · Módulo 3: De la neurona al MLP
Módulo 3: De la neurona al MLP

Softmax y entropía cruzada juntas

Por qué importa Todos los clasificadores de este curso terminan con softmax más entropía cruzada. Su gradiente combinado es uno de los resultados más útiles del aprendizaje profundo, y es corto.

Números diminutos

Logits [2, 1, 0], softmax [0.665, 0.245, 0.090], clase verdadera 0 (one-hot [1, 0, 0]). El gradiente de la pérdida respecto a los logits es simplemente softmax menos one-hot: [-0.335, 0.245, 0.090]. En palabras: sube la puntuación de la clase verdadera en lo que le faltó, y baja cada otra puntuación en la probabilidad que se llevó por error.

One-hot: un vector de ceros con un solo 1 en la clase verdadera.

Para un lote, haz la media sobre las filas: (softmax(Z) - onehot) / n.

Resumen Gradiente = predicción menos verdad, otra vez.

Palabras y símbolos de esta lección
one-hot
ceros con un solo 1 en la clase verdadera
comprobación de gradientes
comparar tu fórmula del gradiente con una estimación de empujar y medir
Tu turno

Escribe loss_and_grad(Z, labels) que devuelva la entropía cruzada media y su gradiente respecto a Z (forma (batch, classes)). Usa un softmax estable. Compruébalo tú mismo con tu comprobador de gradientes antes de enviarlo.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.