LayerNorm en RMSNorm
Waarom dit saak maak Transformers gebruik nie BatchNorm nie. Hulle normaliseer elke voorbeeld op sy eie. Dit vermy die batch-valstrik wat jy nou net ontmoet het en werk vir enige batch grootte.
- LayerNorm normaliseer oor die kenmerke van elke voorbeeld (elke ry): trek die ry se gemiddelde af, deel deur die ry se spreiding, dan gamma en beta per kenmerk. Dieselfde in opleiding en gebruik.
- RMSNorm is eenvoudiger en word deur baie nuwer taalmodelle gebruik: skuif die gemiddelde o, deel elke ry deur sy wortelgemiddelde kwadraat,
sqrt(mean(x squared) + eps), en vermenigvuldig dan met gamma.
Klein getalle
Ry [3, 4]. RMS = sqrt((9 + 16) / 2) = 3.536. RMSNorm gee [0.849, 1.131]. LayerNorm trek die gemiddelde 3.5 eerste af: [-1, 1].
Woorde en simbole in hierdie les
- Xavier, LeCun, He
- beginnende spreidings is sqrt(2 / (inputs + outputs)) of 1 / sqrt(inputs) vir tanh, en sqrt(2 / inputs) vir ReLU
- BatchNorm (gamma, beta)
- normalise elke kenmerk oor die batch, dan skaal dit oor met geleerde gamma en beta
- LayerNorm, RMSNorm
- normaliseer elke voorbeeld op sy eie, oor sy kenmerke
Skryf layernorm(X, gamma, beta, eps=1e-5) en rmsnorm(X, gamma, eps=1e-6), albei per ry.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.