Dode ReLUs
Waarom dit ertoe doet Een ReLU die uit staat voor elke input geeft geen gradient door, dus leert het nooit meer. Hele lagen kunnen geruisloos sterven.
A eenheid is dood als de output nul is voor elk voorbeeld in een batch. Veelvoorkomende oorzaken: een grote negatieve bias, of één enorme update die de weights ver naar negatief duwde.
Tintalletjes
Activaties voor 4 voorbeelden en 3 eenheden: [[0, 1.2, 0], [0, 0.3, 0], [0, 2.0, 0.1], [0, 0, 0]]. Eenheid 1 is overal nul: dood. Eenheid 3 vuurde één keer: levend. Dood fractie: 1 van 3.
Fixes: verstandige beginweights, biases die beginnen bij 0 (of licht positief), een kleinere learning rate, of leaky ReLU, wat een kleine helling (bijvoorbeeld 0.01) behoudt voor negatieve inputs zodat de unit kan herstellen.
Woorden en symbolen in deze les
- Xavier, LeCun, He
- startspreads sqrt(2 / (inputs + outputs)) of 1 / sqrt(inputs) voor tanh, en sqrt(2 / inputs) voor ReLU
Schrijf dead_fraction(H) voor een activatiematrix (voorbeelden per eenheden). Schrijf daarna voor de laag eronder, die begon met biases van -4, fixed_layer(X, W) die dezelfde weights behoudt maar biases van nul gebruikt en een leaky ReLU met slope 0.01; zijn dead fraction (het tellen van outputs die precies nul zijn) moet 0.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.