Kurrikulum Leson 88 van 246 · Module 7: Werk aan nuwe data
Module 7: Werk aan nuwe data

Dropout, gebou

Waarom dit saak maak Dropout is 'n eenvoudige manier om te verhoed dat 'n netwerk te veel op enige enkele eenheid staatmaak, en jy sal dit binne baie modelle sien.

Tydens opleiding skakel dropout elke eenheid by willekeur af met waarskynlikheid p (sê 0.5) by elke stap. Die netwerk kan nie op enige een eenheid staatmaak nie, want dit kan by die volgende stap weg wees, so dit versprei wat dit weet oor baie eenhede.

Hou die gemiddelde reg

As die helfte van die eenhede afgeskakel word, ontvang die volgende laag sowat die helfte van die sein. Moderne omgekeerde dropout los dit tydens opleiding op: die eenhede wat oorleef word met 1 / (1 - p) vermenigvuldig, hier 2. By evaluering doen dropout glad niks nie, en die gemiddelde sein stem ooreen met opleiding. (Die oorspronklike referaat van 2014 het eerder by evaluering geskaal; die resultaat is dieselfde, maar omgekeerde dropout laat die evalueringskode onaangeraak.)

Dropout-koers p: die waarskynlikheid om 'n eenheid tydens opleiding af te skakel.

Woorde en simbole in hierdie les
dropout (p)
skakel eenhede af by willekeur met waarskynlikheid p tydens opleiding
Jou beurt

Skryf dropout(h, p, training, rng): in opleiding, nul elke inskrywing met waarskynlikheid p en skaal oorlewendes met 1 / (1 - p); anders retourneer h onveranderd. Gebruik rng.random(h.shape) >= p as die keep mask.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.