Programma Les 77 van 246 · Module 6: Startgewichten en normalisatie
Module 6: Startgewichten en normalisatie

De schaal die signalen stabiel houdt (Xavier en He)

Waarom dit ertoe doet Er is een exact antwoord op "hoe groot moeten de begingewichten zijn". Gebruik het en diepe netwerken worden trainbaar.

Tintalletjes

Eén output van een laag telt n_in producten van een input en een gewicht op. Als inputs een spreiding van 1 hebben en gewichten een spreiding van s, heeft de som van n_in van deze termen een spreiding van s keer sqrt(n_in) (varianties tellen op: Module 2, "How spread adds up"). Om dit op 1 te houden, kies je s = 1 / sqrt(n_in). Dat is LeCun initialisatie. Xavier (ook wel Glorot genoemd) initialisatie houdt de gradiënten ook stabiel op de weg terug, die afhangen van n_out, dus het deelt de verschillen: s = sqrt(2 / (n_in + n_out)). Wanneer n_in gelijk is aan n_out zijn de twee hetzelfde. Beide zijn geschikt voor tanh.

ReLU gooit de negatieve helft weg, wat de gemiddelde kwadratische grootte halveert. Compenseer dit met twee keer de variantie: s = sqrt(2 / n_in). Dat is He initialisatie, juist voor ReLU. Met breedte 100 geeft He sqrt(0.02) = 0.141: precies de "ok" schaal van de laatste les.

Samenvatting tanh: Xavier, sqrt(2 / (n_in + n_out)), of LeCun, 1 / sqrt(n_in). ReLU: He, sqrt(2 / n_in).

Woorden en symbolen in deze les
initialisatie
hoe de weights worden ingesteld voordat de training begint
Xavier, LeCun, He
startspreads sqrt(2 / (inputs + outputs)) of 1 / sqrt(inputs) voor tanh, en sqrt(2 / inputs) voor ReLU
Jij bent aan de beurt

Schrijf xavier(n_in, n_out, rng) en he(n_in, n_out, rng) die gewichtsmatrices teruggeven. Met He weights moet de activatiespreiding na 20 ReLU layers van breedte 256 tussen 0.2 en 5 blijven.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.