Sequenze e stato
Perché è importante Testo, parlato, prezzi e letture dei sensori arrivano un passo alla volta, e ciò che è venuto prima cambia ciò che viene dopo. Una rete ricorrente porta avanti un riassunto progressivo.
Una rete neurale ricorrente (RNN) tiene uno stato nascosto h, un vettore corto. A ogni passo mescola il nuovo input con il vecchio stato e schiaccia il risultato:
h = tanh(x_t @ Wx + h @ Wh + b)
Gli stessi pesi vengono usati a ogni passo, proprio come una CNN riusa il suo filtro in ogni posizione. L'h finale dipende da tutto ciò che la rete ha letto, quindi è una memoria (con perdite) dell'intera sequenza.
Numeri piccolissimi
Un numero di input, un numero nascosto, Wx = 1, Wh = 0.5, b = 0, h parte da 0. Leggendo 1 poi 0: h = tanh(1) = 0.76, poi h = tanh(0 + 0.38) = 0.36. Il primo input si vede ancora nello stato dopo il secondo passo, svanendo.
Stato nascosto: il vettore che una RNN porta da un passo all'altro. Ricorrente: che rimette il proprio output come input.
Parole e simboli di questa lezione
- rete ricorrente (RNN)
- una rete che legge un passo alla volta e porta avanti uno stato nascosto
Scrivi rnn_forward(xs, Wx, Wh, b): xs ha forma (passi, dimensione dell'input); parti da uno stato zero e restituisci la lista degli stati nascosti dopo ogni passo.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.