Layer norm: houd elke vector in bereik
Waarom dit ertoe doet Module 6 hield activaties gezond met batch norm, wat over de batch middelt. Tekst batches variëren in lengte en generatie runs één sequentie tegelijk, dus normaliseren transformers de vector van elke positie op zichzelf: layer norm.
Voor één vector x van d getallen: trek het gemiddelde eraf, deel door de standaarddeviatie (plus een kleine epsilon, 1e-5, zodat we nooit door 0 delen), schaal dan en verschuif met geleerde g en b:
y = (x - mean(x)) / sqrt(var(x) + 1e-5) * g + b
Elke vector van een token gaat elke attention en elke feed-forward deel binnen met een gemiddelde van 0 en een spreiding van 1, hoe groot de lopende som ook is geworden.
Woorden en symbolen in deze les
- let op
- softmax van query-key scores, gebruikt om de waarden te middelen
- layer norm
- normaliseer elke vector apart: gemiddelde 0, spreiding 1, dan vermenigvuldig met g plus b
Schrijf layer_norm(x, g, b) voor een array van elke vorm, genormaliseerd langs de laatste as. Het moet overeenkomen met de layernorm.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.