Programma Lezione 150 di 246 · Modulo 13: Attenzione e transformer
Modulo 13: Attenzione e transformer

Layer norm: tenere ogni vettore nell'intervallo

Perché è importante Il Modulo 6 teneva sane le attivazioni con la batch norm, che fa la media sul batch. I batch di testo hanno lunghezze diverse e la generazione esegue una sequenza alla volta, quindi i transformer normalizzano il vettore di ogni posizione per conto suo: il layer norm.

Per un vettore x di d numeri: sottrai la sua media, dividi per la sua deviazione standard (più un epsilon minuscolo, 1e-5, così non dividiamo mai per 0), poi scala e sposta con g e b appresi:

y = (x - mean(x)) / sqrt(var(x) + 1e-5) * g + b

Il vettore di ogni token entra in ogni parte di attenzione e feed-forward con media 0 e dispersione 1, per quanto sia cresciuta la somma progressiva.

Parole e simboli di questa lezione
attenzione
softmax dei punteggi query-key, usata per fare la media dei value
layer norm
normalizzare ogni vettore per conto suo: media 0, dispersione 1, poi per g più b
Tocca a te

Scrivi layer_norm(x, g, b) per un array di qualsiasi forma, normalizzando lungo l'ultimo asse. Deve essere d'accordo con il layernorm del motore di casa.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.