Dropout, gebouwd
Waarom dit ertoe doet Dropout is een simpele manier om te voorkomen dat een netwerk te veel leunt op een enkele eenheid, en je zult het zien in veel modellen.
Tijdens de training zet dropout elke eenheid willekeurig uit met kans p (bijvoorbeeld 0.5) bij elke stap. Het netwerk kan niet op één eenheid vertrouwen, omdat deze bij de volgende stap weg kan zijn, dus verspreidt het wat het weet over velen.
Het gemiddelde juist houden
Als de helft van de eenheden is uitgeschakeld, ontvangt de volgende laag ongeveer de helft van het signaal. Modern inverted dropout lost dit tijdens de training op: de eenheden die overleven worden vermenigvuldigd met 1 / (1 - p), hier 2. Tijdens evaluatie doet dropout helemaal niets, en het gemiddelde signaal komt overeen met de training. (Het originele paper uit 2014 schaalde tijdens evaluatie; het resultaat is hetzelfde, maar inverted dropout houdt de evaluatiecode onveranderd.)
Dropout rate p: de kans om een eenheid uit te schakelen tijdens de training.
Woorden en symbolen in deze les
- dropout (p)
- Het willekeurig uitschakelen van eenheden met kans p tijdens de training
Schrijf dropout(h, p, training, rng): tijdens training, zet elke entry naar nul met kans p en schaal de overgeblevenen met 1 / (1 - p); anders retourneer h onveranderd. Gebruik rng.random(h.shape) >= p als de keep mask.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.