Programma Lezione 143 di 246 · Modulo 13: Attenzione e transformer
Modulo 13: Attenzione e transformer

L'attenzione risolve il collo di bottiglia

Perché è importante L'attenzione è stata inventata nel 2014 per risolvere proprio il problema che hai misurato nel Modulo 11: un encoder che schiaccia un'intera frase in un vettore.

Nell'esperimento registrato seq2seq-bottleneck, il decoder del modello con attenzione, a ogni passo, presta attenzione a tutti gli stati nascosti dell'encoder (la sua query è lo stato stesso del decoder). Non dipende più da un unico vettore finale; può guardare direttamente indietro la cifra che gli serve.

Prevedi: alla lunghezza 16, dove il modello semplice azzeccava circa il 59% delle cifre, quanto ottiene il modello con attenzione?

Parole e simboli di questa lezione
query, key, value
che cosa cerca una posizione; che cosa offre ogni posizione per la corrispondenza; che cosa consegna
attenzione
softmax dei punteggi query-key, usata per fare la media dei value
Tocca a te

Imposta my_guess su un numero tra 0 e 1: la tua ipotesi sull'accuratezza sulle cifre del modello con attenzione alla lunghezza 16. Riempi acc: da (model, length) all'accuratezza media sulle cifre dei due semi, per entrambi i modelli e tutte e quattro le lunghezze, e gain_at_16.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.