Programma Lezione 83 di 246 · Modulo 6: Pesi iniziali e normalizzazione
Modulo 6: Pesi iniziali e normalizzazione

LayerNorm e RMSNorm

Perché è importante I transformer non usano BatchNorm. Normalizzano ogni esempio per conto suo, il che evita la trappola del batch che hai appena incontrato e funziona con qualsiasi dimensione del batch.

  • LayerNorm normalizza sulle caratteristiche di ogni esempio (ogni riga): sottrai la media della riga, dividi per la dispersione della riga, poi gamma e beta per caratteristica. Uguale in addestramento e nell'uso.
  • RMSNorm è più semplice ed è usata da molti modelli linguistici recenti: salta la media, e dividi ogni riga per la sua media quadratica, sqrt(mean(x squared) + eps), poi moltiplica per gamma.

Numeri piccolissimi

Riga [3, 4]. RMS = sqrt((9 + 16) / 2) = 3.536. RMSNorm dà [0.849, 1.131]. LayerNorm sottrae prima la media 3.5: [-1, 1].

Parole e simboli di questa lezione
Xavier, LeCun, He
dispersioni iniziali sqrt(2 / (input + output)) o 1 / sqrt(input) per tanh, e sqrt(2 / input) per ReLU
BatchNorm (gamma, beta)
normalizzare ogni caratteristica sul batch, poi riscalare con gamma e beta appresi
LayerNorm, RMSNorm
normalizzare ogni esempio per conto suo, sulle sue caratteristiche
Tocca a te

Scrivi layernorm(X, gamma, beta, eps=1e-5) e rmsnorm(X, gamma, eps=1e-6), entrambe per riga.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.