Programma Lezione 132 di 246 · Modulo 11: Reti con memoria (RNN)
Modulo 11: Reti con memoria (RNN)

Uno legge, uno scrive: il collo di bottiglia

Perché è importante La traduzione funzionava così: una RNN legge la frase in un unico vettore, un'altra scrive l'output da lì. Quell'unico vettore è un collo di bottiglia, e vederlo fallire è il motivo per cui è stata inventata l'attenzione.

Un encoder-decoder: la RNN encoder legge l'input; il suo stato nascosto finale viene passato alla RNN decoder, che scrive l'output un simbolo alla volta, rimettendo dentro ogni risposta. Tutto ciò che il decoder sa dell'input deve passare per quell'unico vettore di 48 numeri.

L'esperimento registrato seq2seq-bottleneck ha addestrato reti così a scrivere al contrario una sequenza di cifre, per lunghezze 4, 8, 12 e 16, due semi ciascuna. Ha addestrato anche una versione con l'attenzione, che incontrerai nel Modulo 13. Per ora, guarda solo quelle semplici.

Indovina la curva: prevedi l'accuratezza sulle cifre del modello semplice alla lunghezza 16. Il caso è il 10%.

Parole e simboli di questa lezione
rete ricorrente (RNN)
una rete che legge un passo alla volta e porta avanti uno stato nascosto
encoder-decoder
una RNN legge l'input in un vettore, un'altra scrive l'output da lì
collo di bottiglia
l'unico vettore attraverso cui deve passare tutto
Tocca a te

Imposta my_guess_16, poi riempi plain_acc: dalla lunghezza all'accuratezza media sulle cifre delle due esecuzioni semplici.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.