Layer norm: tenere ogni vettore nell'intervallo
Perché è importante Il Modulo 6 teneva sane le attivazioni con la batch norm, che fa la media sul batch. I batch di testo hanno lunghezze diverse e la generazione esegue una sequenza alla volta, quindi i transformer normalizzano il vettore di ogni posizione per conto suo: il layer norm.
Per un vettore x di d numeri: sottrai la sua media, dividi per la sua deviazione standard (più un epsilon minuscolo, 1e-5, così non dividiamo mai per 0), poi scala e sposta con g e b appresi:
y = (x - mean(x)) / sqrt(var(x) + 1e-5) * g + b
Il vettore di ogni token entra in ogni parte di attenzione e feed-forward con media 0 e dispersione 1, per quanto sia cresciuta la somma progressiva.
Parole e simboli di questa lezione
- attenzione
- softmax dei punteggi query-key, usata per fare la media dei value
- layer norm
- normalizzare ogni vettore per conto suo: media 0, dispersione 1, poi per g più b
Scrivi layer_norm(x, g, b) per un array di qualsiasi forma, normalizzando lungo l'ultimo asse. Deve essere d'accordo con il layernorm del motore di casa.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.