Temario Lección 36 de 246 · Módulo 2: Matemáticas y probabilidad, solo lo necesario
Módulo 2: Matemáticas y probabilidad, solo lo necesario

El gradiente de softmax, y por qué la pérdida lo esconde

Por qué importa Softmax está dentro de la atención, donde su gradiente hace falta por sí solo. Combinado con la entropía cruzada se reduce a algo muy simple, y saber por qué es lo que te deja fiarte de la versión simple.

El gradiente completo

Para p = softmax(z), cada salida depende de todas las puntuaciones. Empujar zj mueve pi en pi (1 - pi) por el empujón cuando i = j, y en - pi pj cuando i no es j: subir una puntuación les quita probabilidad a todas las demás. Como una tabla (el jacobiano): diag(p) - p pT.

La pasada hacia atrás nunca construye esa tabla. Dado g = dL/dp, el gradiente respecto a z es p * (g - (g · p)), elemento a elemento: cada pi por cuánto supera su propio g a la media de g ponderada por la probabilidad.

Números diminutos

p = [0.5, 0.3, 0.2] y g = [1, 0, 0]. Entonces g · p = 0.5, y dL/dz = [0.5 × 0.5, 0.3 × -0.5, 0.2 × -0.5] = [0.25, -0.15, -0.10]. Las entradas suman 0: sumar la misma cantidad a todas las puntuaciones no cambia nada.

Por qué la entropía cruzada lo simplifica

Con L = -log py, g vale -1 / py en la clase verdadera y 0 en el resto. Mete eso en p * (g - (g · p)) y se convierte en p - onehot(y): la fórmula que usó el Módulo 3. La forma simple es este mismo gradiente, no un atajo.

Resumen Softmax hacia atrás: p * (g - g · p). Con entropía cruzada encima: p - onehot.

Palabras y símbolos de esta lección
softmax
exp de cada puntuación dividido entre el total: las puntuaciones se vuelven probabilidades
entropía cruzada
menos el log de la probabilidad dada a la respuesta correcta
Tu turno

Escribe softmax_jacobian(z) (entra un array 1D de puntuaciones, sale la tabla (n, n)) y softmax_backward(z, g) para arrays 2D (una fila por ejemplo), usando p * (g - (g · p)) fila a fila, sin construir la tabla. La prueba oculta comprueba las dos contra empujones y comprueba que con el g de la entropía cruzada la respuesta es p - onehot.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.