Laagnorm: hou elke vektor binne die reeks
Waarom dit saak maak Module 6 het aktiverings gesond gehou met batch norm, wat oor die batch gemiddeld neem. Teks-batches verskil in lengte en generasie hardloop een reeks teen 'n slag, so transformer normaliseer elke posisie se vektor op sy eie: layer norm.
Vir een vektor x van d getalle: trek die gemiddelde af, deel deur die standaardafwyking (plus 'n klein epsilon, 1e-5, sodat ons nooit deur 0 deel nie), dan skaal en skuif met geleerde g en b:
y = (x - mean(x)) / sqrt(var(x) + 1e-5) * g + b
Elke token se vektor gaan elke attention en elke feed-forward deel binne met 'n gemiddelde van 0 en 'n spreiding van 1, hoe groot die lopende som ook al geword het.
Woorde en simbole in hierdie les
- aandag
- softmax van query-key scores, gebruik om die waardes te gemiddel
- laagnorm
- normalise elke vektor op sy eie: gemiddelde 0, spreiding 1, dan maal g plus b
Skryf layer_norm(x, g, b) vir 'n array van enige vorm, wat normaliseer langs die laaste as. Dit moet ooreenstem met die house engine se layernorm.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.