Uno legge, uno scrive: il collo di bottiglia
Perché è importante La traduzione funzionava così: una RNN legge la frase in un unico vettore, un'altra scrive l'output da lì. Quell'unico vettore è un collo di bottiglia, e vederlo fallire è il motivo per cui è stata inventata l'attenzione.
Un encoder-decoder: la RNN encoder legge l'input; il suo stato nascosto finale viene passato alla RNN decoder, che scrive l'output un simbolo alla volta, rimettendo dentro ogni risposta. Tutto ciò che il decoder sa dell'input deve passare per quell'unico vettore di 48 numeri.
L'esperimento registrato seq2seq-bottleneck ha addestrato reti così a scrivere al contrario una sequenza di cifre, per lunghezze 4, 8, 12 e 16, due semi ciascuna. Ha addestrato anche una versione con l'attenzione, che incontrerai nel Modulo 13. Per ora, guarda solo quelle semplici.
Indovina la curva: prevedi l'accuratezza sulle cifre del modello semplice alla lunghezza 16. Il caso è il 10%.
Parole e simboli di questa lezione
- rete ricorrente (RNN)
- una rete che legge un passo alla volta e porta avanti uno stato nascosto
- encoder-decoder
- una RNN legge l'input in un vettore, un'altra scrive l'output da lì
- collo di bottiglia
- l'unico vettore attraverso cui deve passare tutto
Imposta my_guess_16, poi riempi plain_acc: dalla lunghezza all'accuratezza media sulle cifre delle due esecuzioni semplici.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.