Programma Lezione 125 di 246 · Modulo 11: Reti con memoria (RNN)
Modulo 11: Reti con memoria (RNN)

Sequenze e stato

Perché è importante Testo, parlato, prezzi e letture dei sensori arrivano un passo alla volta, e ciò che è venuto prima cambia ciò che viene dopo. Una rete ricorrente porta avanti un riassunto progressivo.

Una rete neurale ricorrente (RNN) tiene uno stato nascosto h, un vettore corto. A ogni passo mescola il nuovo input con il vecchio stato e schiaccia il risultato:

h = tanh(x_t @ Wx + h @ Wh + b)

Gli stessi pesi vengono usati a ogni passo, proprio come una CNN riusa il suo filtro in ogni posizione. L'h finale dipende da tutto ciò che la rete ha letto, quindi è una memoria (con perdite) dell'intera sequenza.

Numeri piccolissimi

Un numero di input, un numero nascosto, Wx = 1, Wh = 0.5, b = 0, h parte da 0. Leggendo 1 poi 0: h = tanh(1) = 0.76, poi h = tanh(0 + 0.38) = 0.36. Il primo input si vede ancora nello stato dopo il secondo passo, svanendo.

Stato nascosto: il vettore che una RNN porta da un passo all'altro. Ricorrente: che rimette il proprio output come input.

Parole e simboli di questa lezione
rete ricorrente (RNN)
una rete che legge un passo alla volta e porta avanti uno stato nascosto
Tocca a te

Scrivi rnn_forward(xs, Wx, Wh, b): xs ha forma (passi, dimensione dell'input); parti da uno stato zero e restituisci la lista degli stati nascosti dopo ogni passo.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.