Dropout, gebou
Waarom dit saak maak Dropout is 'n eenvoudige manier om te verhoed dat 'n netwerk te veel op enige enkele eenheid staatmaak, en jy sal dit binne baie modelle sien.
Tydens opleiding skakel dropout elke eenheid by willekeur af met waarskynlikheid p (sê 0.5) by elke stap. Die netwerk kan nie op enige een eenheid staatmaak nie, want dit kan by die volgende stap weg wees, so dit versprei wat dit weet oor baie eenhede.
Hou die gemiddelde reg
As die helfte van die eenhede afgeskakel word, ontvang die volgende laag sowat die helfte van die sein. Moderne omgekeerde dropout los dit tydens opleiding op: die eenhede wat oorleef word met 1 / (1 - p) vermenigvuldig, hier 2. By evaluering doen dropout glad niks nie, en die gemiddelde sein stem ooreen met opleiding. (Die oorspronklike referaat van 2014 het eerder by evaluering geskaal; die resultaat is dieselfde, maar omgekeerde dropout laat die evalueringskode onaangeraak.)
Dropout-koers p: die waarskynlikheid om 'n eenheid tydens opleiding af te skakel.
Woorde en simbole in hierdie les
- dropout (p)
- skakel eenhede af by willekeur met waarskynlikheid p tydens opleiding
Skryf dropout(h, p, training, rng): in opleiding, nul elke inskrywing met waarskynlikheid p en skaal oorlewendes met 1 / (1 - p); anders retourneer h onveranderd. Gebruik rng.random(h.shape) >= p as die keep mask.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.