Kurrikulum Leson 83 van 246 · Module 6: Beginnende gewigte en normalisering
Module 6: Beginnende gewigte en normalisering

LayerNorm en RMSNorm

Waarom dit saak maak Transformers gebruik nie BatchNorm nie. Hulle normaliseer elke voorbeeld op sy eie. Dit vermy die batch-valstrik wat jy nou net ontmoet het en werk vir enige batch grootte.

  • LayerNorm normaliseer oor die kenmerke van elke voorbeeld (elke ry): trek die ry se gemiddelde af, deel deur die ry se spreiding, dan gamma en beta per kenmerk. Dieselfde in opleiding en gebruik.
  • RMSNorm is eenvoudiger en word deur baie nuwer taalmodelle gebruik: skuif die gemiddelde o, deel elke ry deur sy wortelgemiddelde kwadraat, sqrt(mean(x squared) + eps), en vermenigvuldig dan met gamma.

Klein getalle

Ry [3, 4]. RMS = sqrt((9 + 16) / 2) = 3.536. RMSNorm gee [0.849, 1.131]. LayerNorm trek die gemiddelde 3.5 eerste af: [-1, 1].

Woorde en simbole in hierdie les
Xavier, LeCun, He
beginnende spreidings is sqrt(2 / (inputs + outputs)) of 1 / sqrt(inputs) vir tanh, en sqrt(2 / inputs) vir ReLU
BatchNorm (gamma, beta)
normalise elke kenmerk oor die batch, dan skaal dit oor met geleerde gamma en beta
LayerNorm, RMSNorm
normaliseer elke voorbeeld op sy eie, oor sy kenmerke
Jou beurt

Skryf layernorm(X, gamma, beta, eps=1e-5) en rmsnorm(X, gamma, eps=1e-6), albei per ry.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.