L'attenzione risolve il collo di bottiglia
Perché è importante L'attenzione è stata inventata nel 2014 per risolvere proprio il problema che hai misurato nel Modulo 11: un encoder che schiaccia un'intera frase in un vettore.
Nell'esperimento registrato seq2seq-bottleneck, il decoder del modello con attenzione, a ogni passo, presta attenzione a tutti gli stati nascosti dell'encoder (la sua query è lo stato stesso del decoder). Non dipende più da un unico vettore finale; può guardare direttamente indietro la cifra che gli serve.
Prevedi: alla lunghezza 16, dove il modello semplice azzeccava circa il 59% delle cifre, quanto ottiene il modello con attenzione?
Parole e simboli di questa lezione
- query, key, value
- che cosa cerca una posizione; che cosa offre ogni posizione per la corrispondenza; che cosa consegna
- attenzione
- softmax dei punteggi query-key, usata per fare la media dei value
Imposta my_guess su un numero tra 0 e 1: la tua ipotesi sull'accuratezza sulle cifre del modello con attenzione alla lunghezza 16. Riempi acc: da (model, length) all'accuratezza media sulle cifre dei due semi, per entrambi i modelli e tutte e quattro le lunghezze, e gain_at_16.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.