El gradiente de softmax, y por qué la pérdida lo esconde
Por qué importa Softmax está dentro de la atención, donde su gradiente hace falta por sí solo. Combinado con la entropía cruzada se reduce a algo muy simple, y saber por qué es lo que te deja fiarte de la versión simple.
El gradiente completo
Para p = softmax(z), cada salida depende de todas las puntuaciones. Empujar zj mueve pi en pi (1 - pi) por el empujón cuando i = j, y en - pi pj cuando i no es j: subir una puntuación les quita probabilidad a todas las demás. Como una tabla (el jacobiano): diag(p) - p pT.
La pasada hacia atrás nunca construye esa tabla. Dado g = dL/dp, el gradiente respecto a z es p * (g - (g · p)), elemento a elemento: cada pi por cuánto supera su propio g a la media de g ponderada por la probabilidad.
Números diminutos
p = [0.5, 0.3, 0.2] y g = [1, 0, 0]. Entonces g · p = 0.5, y dL/dz = [0.5 × 0.5, 0.3 × -0.5, 0.2 × -0.5] = [0.25, -0.15, -0.10]. Las entradas suman 0: sumar la misma cantidad a todas las puntuaciones no cambia nada.
Por qué la entropía cruzada lo simplifica
Con L = -log py, g vale -1 / py en la clase verdadera y 0 en el resto. Mete eso en p * (g - (g · p)) y se convierte en p - onehot(y): la fórmula que usó el Módulo 3. La forma simple es este mismo gradiente, no un atajo.
Resumen Softmax hacia atrás: p * (g - g · p). Con entropía cruzada encima: p - onehot.
Palabras y símbolos de esta lección
- softmax
- exp de cada puntuación dividido entre el total: las puntuaciones se vuelven probabilidades
- entropía cruzada
- menos el log de la probabilidad dada a la respuesta correcta
Escribe softmax_jacobian(z) (entra un array 1D de puntuaciones, sale la tabla (n, n)) y softmax_backward(z, g) para arrays 2D (una fila por ejemplo), usando p * (g - (g · p)) fila a fila, sin construir la tabla. La prueba oculta comprueba las dos contra empujones y comprueba que con el g de la entropía cruzada la respuesta es p - onehot.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.