Programma Les 150 van 246 · Module 13: Attention en transformers
Module 13: Attention en transformers

Layer norm: houd elke vector in bereik

Waarom dit ertoe doet Module 6 hield activaties gezond met batch norm, wat over de batch middelt. Tekst batches variëren in lengte en generatie runs één sequentie tegelijk, dus normaliseren transformers de vector van elke positie op zichzelf: layer norm.

Voor één vector x van d getallen: trek het gemiddelde eraf, deel door de standaarddeviatie (plus een kleine epsilon, 1e-5, zodat we nooit door 0 delen), schaal dan en verschuif met geleerde g en b:

y = (x - mean(x)) / sqrt(var(x) + 1e-5) * g + b

Elke vector van een token gaat elke attention en elke feed-forward deel binnen met een gemiddelde van 0 en een spreiding van 1, hoe groot de lopende som ook is geworden.

Woorden en symbolen in deze les
let op
softmax van query-key scores, gebruikt om de waarden te middelen
layer norm
normaliseer elke vector apart: gemiddelde 0, spreiding 1, dan vermenigvuldig met g plus b
Jij bent aan de beurt

Schrijf layer_norm(x, g, b) voor een array van elke vorm, genormaliseerd langs de laatste as. Het moet overeenkomen met de layernorm.

van de house engine.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.