Kurrikulum Leson 78 van 246 · Module 6: Beginnende gewigte en normalisering
Module 6: Beginnende gewigte en normalisering

Dode ReLUs

Waarom dit saak maak 'n ReLU wat af is vir elke input stuur geen gradiënt oor nie, so dit leer nooit weer nie. Hele lae kan stilweg doodgaan.

'n

eenheid is dood as sy uitset nul is vir elke voorbeeld in 'n batch. Algemene oorsake: 'n groot negatiewe bias, of een enorme opdatering wat sy gewigte ver negatief gestoot het.

Klein getalle

Aktiverings vir 4 voorbeelde en 3 eenhede: [[0, 1.2, 0], [0, 0.3, 0], [0, 2.0, 0.1], [0, 0, 0]]. Eenheid 1 is nul oral: dood. Eenheid 3 het een keer afgevuur: lewend. Dode fraksie: 1 van 3.

Regstellings: sinvolle beginwegte, bieses wat by 0 begin (of effens positief), 'n kleiner leertempo, of leaky ReLU, wat 'n klein helling (sê 0.01) vir negatiewe insets behou sodat die eenheid kan herstel.

Woorde en simbole in hierdie les
Xavier, LeCun, He
beginnende verbreidingsfaktore is sqrt(2 / (inputs + outputs)) of 1 / sqrt(inputs) vir tanh, en sqrt(2 / inputs) vir ReLU
Jou beurt

Skryf dead_fraction(H) vir 'n aktiveringsmatriks (voorbeelde per eenhede). Skryf dan vir die laag daaronder, wat met biases van -4 begin het, fixed_layer(X, W) wat dieselfde gewigte behou maar biases van nul en 'n leaky ReLU met 'n helling van 0.01 gebruik; sy doo-fraksie (tel uitkomste wat presies nul is) moet 0.

wees.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.