Programma Les 78 van 246 · Module 6: Startgewichten en normalisatie
Module 6: Startgewichten en normalisatie

Dode ReLUs

Waarom dit ertoe doet Een ReLU die uit staat voor elke input geeft geen gradient door, dus leert het nooit meer. Hele lagen kunnen geruisloos sterven.

Een

A eenheid is dood als de output nul is voor elk voorbeeld in een batch. Veelvoorkomende oorzaken: een grote negatieve bias, of één enorme update die de weights ver naar negatief duwde.

Tintalletjes

Activaties voor 4 voorbeelden en 3 eenheden: [[0, 1.2, 0], [0, 0.3, 0], [0, 2.0, 0.1], [0, 0, 0]]. Eenheid 1 is overal nul: dood. Eenheid 3 vuurde één keer: levend. Dood fractie: 1 van 3.

Fixes: verstandige beginweights, biases die beginnen bij 0 (of licht positief), een kleinere learning rate, of leaky ReLU, wat een kleine helling (bijvoorbeeld 0.01) behoudt voor negatieve inputs zodat de unit kan herstellen.

Woorden en symbolen in deze les
Xavier, LeCun, He
startspreads sqrt(2 / (inputs + outputs)) of 1 / sqrt(inputs) voor tanh, en sqrt(2 / inputs) voor ReLU
Jij bent aan de beurt

Schrijf dead_fraction(H) voor een activatiematrix (voorbeelden per eenheden). Schrijf daarna voor de laag eronder, die begon met biases van -4, fixed_layer(X, W) die dezelfde weights behoudt maar biases van nul gebruikt en een leaky ReLU met slope 0.01; zijn dead fraction (het tellen van outputs die precies nul zijn) moet 0.

zijn.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.