Temario Lección 127 de 246 · Módulo 11: Redes con memoria (RNN)
Módulo 11: Redes con memoria (RNN)

La retropropagación a través del tiempo es retropropagación normal

Por qué importa "Retropropagación a través del tiempo" suena a un algoritmo nuevo. No lo es: despliega el bucle y es retropropagación sobre una red profunda cuyas capas comparten un mismo conjunto de pesos.

Míralo

Reproduce la animación. Tres pasos de una RNN, dibujados uno al lado de otro, son tres capas. El mismo peso w aparece en cada una. Hacia atrás, el gradiente de w recoge una aportación de cada copia, exactamente como un nodo usado varias veces en tu motor del Módulo 4.

Números diminutos

Una RNN lineal de un número: h_t = w h_(t-1) + x_t, empezando en h_0 = 0, con pérdida = h_3. Entradas 1, 2, 3 y w = 0.5: h1 = 1, h2 = 2.5, h3 = 4.25. dL/dh3 = 1. Hacia atrás, dL/dh2 = w = 0.5 y dL/dh1 = w al cuadrado = 0.25. Cada copia de w aporta (el gradiente en su salida) por (la h que multiplicó): 1 por h2 + 0.5 por h1 + 0.25 por h0 = 2.5 + 0.5 + 0 = 3.0.

BPTT: retropropagación a través del tiempo; despliega los pasos y retropropaga, sumando el gradiente de cada paso que comparte un peso.

Palabras y símbolos de esta lección
red recurrente (RNN)
una red que lee un paso cada vez y lleva hacia delante un estado oculto
retropropagación a través del tiempo (BPTT)
despliega los pasos y retropropaga, sumando el gradiente de cada paso que comparte un peso
Tu turno

Para la RNN de un número h_t = w * h_(t-1) + x_t con h_0 = 0 y pérdida h_T (el último estado), escribe bptt(xs, w) que devuelva dL/dw recorriendo los pasos hacia atrás.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.