Temario Lección 125 de 246 · Módulo 11: Redes con memoria (RNN)
Módulo 11: Redes con memoria (RNN)

Secuencias y estado

Por qué importa El texto, la voz, los precios y las lecturas de sensores llegan de paso en paso, y lo que vino antes cambia lo que viene después. Una red recurrente lleva hacia delante un resumen acumulado.

Una red neuronal recurrente (RNN) guarda un estado oculto h, un vector corto. En cada paso mezcla la entrada nueva con el estado antiguo y aplasta el resultado:

h = tanh(x_t @ Wx + h @ Wh + b)

Se usan los mismos pesos en cada paso, igual que una CNN reutiliza su filtro en cada posición. La h final depende de todo lo que la red ha leído, así que es una memoria (con pérdidas) de toda la secuencia.

Números diminutos

Un número de entrada, un número oculto, Wx = 1, Wh = 0.5, b = 0, h empieza en 0. Leyendo 1 y luego 0: h = tanh(1) = 0.76, y luego h = tanh(0 + 0.38) = 0.36. La primera entrada sigue viéndose en el estado después del segundo paso, desvaneciéndose.

Estado oculto: el vector que una RNN lleva de paso en paso. Recurrente: que vuelve a meter su propia salida como entrada.

Palabras y símbolos de esta lección
red recurrente (RNN)
una red que lee un paso cada vez y lleva hacia delante un estado oculto
Tu turno

Escribe rnn_forward(xs, Wx, Wh, b): xs tiene forma (pasos, tamaño de entrada); empieza con un estado a cero y devuelve la lista de estados ocultos después de cada paso.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.