Te klein, te groot: verdwyn en ontplof
Waarom dit saak maak 'n Verdwynende sein beteken elke gradiënt is byna nul en opleiding stop. 'n Ontplofde een beteken oorloop en nan. Albei kom van die beginwegte.
Sien dit
Speel die animasi af: dieselfde 20-laag stapel wat op drie maniere begin. Te klein, en die sein vervaag laag vir laag tot niks. Te groot, en dit verdubbel en verdubbel tot dit oorloop. Net reg, en dit bly stabiel tot die einde. Die gradiënt op die pad terug ondergaan dieselfde lot.
Vanishing: aktiverings of gradiënte wat na nul krimp deur die lae. Exploding: groei sonder limiet.
Woorde en simbole in hierdie les
- verdwyn, ontplof
- signale of gradiënte wat tot niks krimp of sonder limiet groei deur lae
- Xavier, LeCun, He
- beginnende verbreidinge is sqrt(2 / (inputs + outputs)) of 1 / sqrt(inputs) vir tanh, en sqrt(2 / inputs) vir ReLU
Gebruik jou spreads van die vorige les (verskaf), skryf verdict(scale) wat "vanish" teruggee as die finale spread onder 1e-3 is, "explode" as dit bo 1e3 is, anders "ok". Vul dan my_predictions in vir die skaales 0.05, 0.14 en 0.5 voor jy dit hardloop.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.