LayerNorm en RMSNorm
Waarom dit ertoe doet Transformers gebruiken geen BatchNorm. Ze normaliseren elk voorbeeld op zichzelf, wat de batch valkuil die je net tegenkwam vermijdt en werkt voor elke batch size.
- LayerNorm normaliseert over de features van elk voorbeeld (elke rij): trek het gemiddelde van de rij af, deel door de spreiding van de rij, en gebruik dan gamma en beta per feature. Hetzelfde in training en gebruik.
- RMSNorm is eenvoudiger en wordt gebruikt door veel recente taalmodellen: sla het gemiddelde over, deel elke rij door de wortel van het gemiddelde kwadraat,
sqrt(mean(x squared) + eps), en vermenigvuldig dan met gamma.
Tintalletjes
Row [3, 4]. RMS = sqrt((9 + 16) / 2) = 3.536. RMSNorm geeft [0.849, 1.131]. LayerNorm trekt eerst het gemiddelde 3.5 af: [-1, 1].
Woorden en symbolen in deze les
- Xavier, LeCun, He
- beginnende spreads zijn sqrt(2 / (inputs + outputs)) of 1 / sqrt(inputs) voor tanh, en sqrt(2 / inputs) voor ReLU
- BatchNorm (gamma, beta)
- normaliseer elke feature over de batch, schaal dan opnieuw met geleerde gamma en beta
- LayerNorm, RMSNorm
- normaliseer elk voorbeeld apart, over zijn kenmerken
Schrijf layernorm(X, gamma, beta, eps=1e-5) en rmsnorm(X, gamma, eps=1e-6), beide per regel.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.