Signalen door 20 lagen
Waarom dit ertoe doetVoordat een diep netwerk iets leert, moet het signaal de reis door elke laag overleven. Vaak gebeurt dat niet, en geen enkele optimiser kan dat herstellen.
Duw een batch willekeurige inputs door 20 lagen van h = relu(h @ W), waarbij elke weight wordt getrokken uit een normale verdeling van een bepaalde spread. Meet na elke laag de spread (standaarddeviatie) van de activaties.
Tintalletjes
Elke laag vermenigvuldigt de typische grootte van het signaal met ongeveer dezelfde factor. Als die factor 0.5 is, is het signaal na 20 lagen 0.5 tot de 20e macht: ongeveer één miljoenste. Als het 2 is, is het ongeveer een miljoen keer groter. Alleen een factor dicht bij 1 overleeft.
Samenvatting Depth maakt kleine wijzigingen per laag om tot enorme wijzigingen.
Woorden en symbolen in deze les
- Xavier, LeCun, He
- beginnende spreads sqrt(2 / (inputs + outputs)) of 1 / sqrt(inputs) voor tanh, en sqrt(2 / inputs) voor ReLU
Schrijf spreads(scale, depth=20, width=100, seed=0): begin bij h = rng.standard_normal((256, width)), teken dan voor elke laag W = rng.normal(0, scale, (width, width)) en stel h = relu(h @ W) in. Geef de lijst van h.std() na elke laag terug.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.