LayerNorm e RMSNorm
Perché è importante I transformer non usano BatchNorm. Normalizzano ogni esempio per conto suo, il che evita la trappola del batch che hai appena incontrato e funziona con qualsiasi dimensione del batch.
- LayerNorm normalizza sulle caratteristiche di ogni esempio (ogni riga): sottrai la media della riga, dividi per la dispersione della riga, poi gamma e beta per caratteristica. Uguale in addestramento e nell'uso.
- RMSNorm è più semplice ed è usata da molti modelli linguistici recenti: salta la media, e dividi ogni riga per la sua media quadratica,
sqrt(mean(x squared) + eps), poi moltiplica per gamma.
Numeri piccolissimi
Riga [3, 4]. RMS = sqrt((9 + 16) / 2) = 3.536. RMSNorm dà [0.849, 1.131]. LayerNorm sottrae prima la media 3.5: [-1, 1].
Parole e simboli di questa lezione
- Xavier, LeCun, He
- dispersioni iniziali sqrt(2 / (input + output)) o 1 / sqrt(input) per tanh, e sqrt(2 / input) per ReLU
- BatchNorm (gamma, beta)
- normalizzare ogni caratteristica sul batch, poi riscalare con gamma e beta appresi
- LayerNorm, RMSNorm
- normalizzare ogni esempio per conto suo, sulle sue caratteristiche
Scrivi layernorm(X, gamma, beta, eps=1e-5) e rmsnorm(X, gamma, eps=1e-6), entrambe per riga.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.