De schaal die signalen stabiel houdt (Xavier en He)
Waarom dit ertoe doet Er is een exact antwoord op "hoe groot moeten de begingewichten zijn". Gebruik het en diepe netwerken worden trainbaar.
Tintalletjes
Eén output van een laag telt n_in producten van een input en een gewicht op. Als inputs een spreiding van 1 hebben en gewichten een spreiding van s, heeft de som van n_in van deze termen een spreiding van s keer sqrt(n_in) (varianties tellen op: Module 2, "How spread adds up"). Om dit op 1 te houden, kies je s = 1 / sqrt(n_in). Dat is LeCun initialisatie. Xavier (ook wel Glorot genoemd) initialisatie houdt de gradiënten ook stabiel op de weg terug, die afhangen van n_out, dus het deelt de verschillen: s = sqrt(2 / (n_in + n_out)). Wanneer n_in gelijk is aan n_out zijn de twee hetzelfde. Beide zijn geschikt voor tanh.
ReLU gooit de negatieve helft weg, wat de gemiddelde kwadratische grootte halveert. Compenseer dit met twee keer de variantie: s = sqrt(2 / n_in). Dat is He initialisatie, juist voor ReLU. Met breedte 100 geeft He sqrt(0.02) = 0.141: precies de "ok" schaal van de laatste les.
Samenvatting tanh: Xavier, sqrt(2 / (n_in + n_out)), of LeCun, 1 / sqrt(n_in). ReLU: He, sqrt(2 / n_in).
Woorden en symbolen in deze les
- initialisatie
- hoe de weights worden ingesteld voordat de training begint
- Xavier, LeCun, He
- startspreads sqrt(2 / (inputs + outputs)) of 1 / sqrt(inputs) voor tanh, en sqrt(2 / inputs) voor ReLU
Schrijf xavier(n_in, n_out, rng) en he(n_in, n_out, rng) die gewichtsmatrices teruggeven. Met He weights moet de activatiespreiding na 20 ReLU layers van breedte 256 tussen 0.2 en 5 blijven.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.