Kurrikulum Leson 77 van 246 · Module 6: Beginnende gewigte en normalisering
Module 6: Beginnende gewigte en normalisering

Die skaal wat seine gestadig hou (Xavier en He)

Waarom dit saak maak Daar is 'n presiese antwoord op "hoe groot moet die beginweigte wees". Gebruik dit en diep netwerke word trainbaar.

Klein getalle

Een uitset van 'n laag tel n_in produkte van 'n inset en 'n gewig bymekaar. As insets 'n spreiding van 1 het en gewigte 'n spreiding van s het, het die som van n_in sulke terme 'n spreiding van s maal sqrt(n_in) (varianses tel by: Module 2, "How spread adds up"). Om dit by 1 te hou, kies s = 1 / sqrt(n_in). Dit is LeCun initialisation. Xavier (ook bekend as Glorot) initialisation hou ook die gradiënte gestadig op die pad terug, wat afhang van n_out, so dit verdeel die verskil: s = sqrt(2 / (n_in + n_out)). Wanneer n_in gelyk is aan n_out, is die twee dieselfde. Albei pas by tanh.

ReLU gooi die negatiewe helfte weg, wat die gemiddelde gekwadrateerde grootte halveer. Maak dit goed met twee keer die variansie: s = sqrt(2 / n_in). Dit is He initialisering, reg vir ReLU. Met breedte 100 gee He sqrt(0.02) = 0.141: presies die "ok" skaal van die vorige les.

Opsomming tanh: Xavier, sqrt(2 / (n_in + n_out)), of LeCun, 1 / sqrt(n_in). ReLU: He, sqrt(2 / n_in).

Woorde en simbole in hierdie les
initialisation
hoe die wegte voor die opleiding begin gestel word
Xavier, LeCun, He
beginnende verbreidingsfaktore is sqrt(2 / (inputs + outputs)) of 1 / sqrt(inputs) vir tanh, en sqrt(2 / inputs) vir ReLU
Jou beurt

Skryf xavier(n_in, n_out, rng) en he(n_in, n_out, rng) wat gewigmatrikse teruggee. Met He-gewigte moet die aktiveringverspreiding na 20 ReLU-lae met 'n breedte van 256 tussen 0.2 en 5 bly.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.