Te klein, te groot: verdwijnen en exploderen
Waarom dit ertoe doet Een verdwenen signaal betekent dat elke gradient bijna nul is en de training stopt. Een geëxplodeerde betekent overflow en nan. Beide komen voort uit de begin weights.
Bekijk het
Speel de animatie af: dezelfde stapel van 20 lagen begon op drie manieren. Te klein, en het signaal vervaagt laag voor laag tot niets. Te groot, en het verdubbelt en verdubbelt tot het overstroomt. Precies goed, en het blijft de hele weg stabiel. De gradiënt op de weg terug heeft hetzelfde lot.
Vanishing: activaties of gradiënten die naar nul krimpen door de lagen. Exploding: onbeperkt groeien.
Woorden en symbolen in deze les
- vanishing, exploding
- signalen of gradiënten die krimpen tot niets of onbegrenst groeien door de lagen
- Xavier, LeCun, He
- startspreads sqrt(2 / (inputs + outputs)) of 1 / sqrt(inputs) voor tanh, en sqrt(2 / inputs) voor ReLU
Gebruik je spreads van de vorige les (geleverd), schrijf verdict(scale) die "vanish" retourneert als de uiteindelijke spread onder 1e-3 is, "explode" als deze boven 1e3 is, anders "ok". Vul daarna my_predictions in voor de schalen 0.05, 0.14 en 0.5 voordat je het uitvoert.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.