Secuencias y estado
Por qué importa El texto, la voz, los precios y las lecturas de sensores llegan de paso en paso, y lo que vino antes cambia lo que viene después. Una red recurrente lleva hacia delante un resumen acumulado.
Una red neuronal recurrente (RNN) guarda un estado oculto h, un vector corto. En cada paso mezcla la entrada nueva con el estado antiguo y aplasta el resultado:
h = tanh(x_t @ Wx + h @ Wh + b)
Se usan los mismos pesos en cada paso, igual que una CNN reutiliza su filtro en cada posición. La h final depende de todo lo que la red ha leído, así que es una memoria (con pérdidas) de toda la secuencia.
Números diminutos
Un número de entrada, un número oculto, Wx = 1, Wh = 0.5, b = 0, h empieza en 0. Leyendo 1 y luego 0: h = tanh(1) = 0.76, y luego h = tanh(0 + 0.38) = 0.36. La primera entrada sigue viéndose en el estado después del segundo paso, desvaneciéndose.
Estado oculto: el vector que una RNN lleva de paso en paso. Recurrente: que vuelve a meter su propia salida como entrada.
Palabras y símbolos de esta lección
- red recurrente (RNN)
- una red que lee un paso cada vez y lleva hacia delante un estado oculto
Escribe rnn_forward(xs, Wx, Wh, b): xs tiene forma (pasos, tamaño de entrada); empieza con un estado a cero y devuelve la lista de estados ocultos después de cada paso.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.