Programma Les 75 van 246 · Module 6: Startgewichten en normalisatie
Module 6: Startgewichten en normalisatie

Signalen door 20 lagen

Waarom dit ertoe doetVoordat een diep netwerk iets leert, moet het signaal de reis door elke laag overleven. Vaak gebeurt dat niet, en geen enkele optimiser kan dat herstellen.

Duw een batch willekeurige inputs door 20 lagen van h = relu(h @ W), waarbij elke weight wordt getrokken uit een normale verdeling van een bepaalde spread. Meet na elke laag de spread (standaarddeviatie) van de activaties.

Tintalletjes

Elke laag vermenigvuldigt de typische grootte van het signaal met ongeveer dezelfde factor. Als die factor 0.5 is, is het signaal na 20 lagen 0.5 tot de 20e macht: ongeveer één miljoenste. Als het 2 is, is het ongeveer een miljoen keer groter. Alleen een factor dicht bij 1 overleeft.

Samenvatting Depth maakt kleine wijzigingen per laag om tot enorme wijzigingen.

Woorden en symbolen in deze les
Xavier, LeCun, He
beginnende spreads sqrt(2 / (inputs + outputs)) of 1 / sqrt(inputs) voor tanh, en sqrt(2 / inputs) voor ReLU
Jij bent aan de beurt

Schrijf spreads(scale, depth=20, width=100, seed=0): begin bij h = rng.standard_normal((256, width)), teken dan voor elke laag W = rng.normal(0, scale, (width, width)) en stel h = relu(h @ W) in. Geef de lijst van h.std() na elke laag terug.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.