Dode ReLUs
Waarom dit saak maak 'n ReLU wat af is vir elke input stuur geen gradiënt oor nie, so dit leer nooit weer nie. Hele lae kan stilweg doodgaan.
eenheid is dood as sy uitset nul is vir elke voorbeeld in 'n batch. Algemene oorsake: 'n groot negatiewe bias, of een enorme opdatering wat sy gewigte ver negatief gestoot het.
Klein getalle
Aktiverings vir 4 voorbeelde en 3 eenhede: [[0, 1.2, 0], [0, 0.3, 0], [0, 2.0, 0.1], [0, 0, 0]]. Eenheid 1 is nul oral: dood. Eenheid 3 het een keer afgevuur: lewend. Dode fraksie: 1 van 3.
Regstellings: sinvolle beginwegte, bieses wat by 0 begin (of effens positief), 'n kleiner leertempo, of leaky ReLU, wat 'n klein helling (sê 0.01) vir negatiewe insets behou sodat die eenheid kan herstel.
Woorde en simbole in hierdie les
- Xavier, LeCun, He
- beginnende verbreidingsfaktore is sqrt(2 / (inputs + outputs)) of 1 / sqrt(inputs) vir tanh, en sqrt(2 / inputs) vir ReLU
Skryf dead_fraction(H) vir 'n aktiveringsmatriks (voorbeelde per eenhede). Skryf dan vir die laag daaronder, wat met biases van -4 begin het, fixed_layer(X, W) wat dieselfde gewigte behou maar biases van nul en 'n leaky ReLU met 'n helling van 0.01 gebruik; sy doo-fraksie (tel uitkomste wat presies nul is) moet 0.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.