Programma Les 76 van 246 · Module 6: Startgewichten en normalisatie
Module 6: Startgewichten en normalisatie

Te klein, te groot: verdwijnen en exploderen

Waarom dit ertoe doet Een verdwenen signaal betekent dat elke gradient bijna nul is en de training stopt. Een geëxplodeerde betekent overflow en nan. Beide komen voort uit de begin weights.

Bekijk het

Speel de animatie af: dezelfde stapel van 20 lagen begon op drie manieren. Te klein, en het signaal vervaagt laag voor laag tot niets. Te groot, en het verdubbelt en verdubbelt tot het overstroomt. Precies goed, en het blijft de hele weg stabiel. De gradiënt op de weg terug heeft hetzelfde lot.

Vanishing: activaties of gradiënten die naar nul krimpen door de lagen. Exploding: onbeperkt groeien.

Woorden en symbolen in deze les
vanishing, exploding
signalen of gradiënten die krimpen tot niets of onbegrenst groeien door de lagen
Xavier, LeCun, He
startspreads sqrt(2 / (inputs + outputs)) of 1 / sqrt(inputs) voor tanh, en sqrt(2 / inputs) voor ReLU
Jij bent aan de beurt

Gebruik je spreads van de vorige les (geleverd), schrijf verdict(scale) die "vanish" retourneert als de uiteindelijke spread onder 1e-3 is, "explode" als deze boven 1e3 is, anders "ok". Vul daarna my_predictions in voor de schalen 0.05, 0.14 en 0.5 voordat je het uitvoert.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.