Programma Les 88 van 246 · Module 7: Werken met nieuwe data
Module 7: Werken met nieuwe data

Dropout, gebouwd

Waarom dit ertoe doet Dropout is een simpele manier om te voorkomen dat een netwerk te veel leunt op een enkele eenheid, en je zult het zien in veel modellen.

Tijdens de training zet dropout elke eenheid willekeurig uit met kans p (bijvoorbeeld 0.5) bij elke stap. Het netwerk kan niet op één eenheid vertrouwen, omdat deze bij de volgende stap weg kan zijn, dus verspreidt het wat het weet over velen.

Het gemiddelde juist houden

Als de helft van de eenheden is uitgeschakeld, ontvangt de volgende laag ongeveer de helft van het signaal. Modern inverted dropout lost dit tijdens de training op: de eenheden die overleven worden vermenigvuldigd met 1 / (1 - p), hier 2. Tijdens evaluatie doet dropout helemaal niets, en het gemiddelde signaal komt overeen met de training. (Het originele paper uit 2014 schaalde tijdens evaluatie; het resultaat is hetzelfde, maar inverted dropout houdt de evaluatiecode onveranderd.)

Dropout rate p: de kans om een eenheid uit te schakelen tijdens de training.

Woorden en symbolen in deze les
dropout (p)
Het willekeurig uitschakelen van eenheden met kans p tijdens de training
Jij bent aan de beurt

Schrijf dropout(h, p, training, rng): tijdens training, zet elke entry naar nul met kans p en schaal de overgeblevenen met 1 / (1 - p); anders retourneer h onveranderd. Gebruik rng.random(h.shape) >= p als de keep mask.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.