Die skaal wat seine gestadig hou (Xavier en He)
Waarom dit saak maak Daar is 'n presiese antwoord op "hoe groot moet die beginweigte wees". Gebruik dit en diep netwerke word trainbaar.
Klein getalle
Een uitset van 'n laag tel n_in produkte van 'n inset en 'n gewig bymekaar. As insets 'n spreiding van 1 het en gewigte 'n spreiding van s het, het die som van n_in sulke terme 'n spreiding van s maal sqrt(n_in) (varianses tel by: Module 2, "How spread adds up"). Om dit by 1 te hou, kies s = 1 / sqrt(n_in). Dit is LeCun initialisation. Xavier (ook bekend as Glorot) initialisation hou ook die gradiënte gestadig op die pad terug, wat afhang van n_out, so dit verdeel die verskil: s = sqrt(2 / (n_in + n_out)). Wanneer n_in gelyk is aan n_out, is die twee dieselfde. Albei pas by tanh.
ReLU gooi die negatiewe helfte weg, wat die gemiddelde gekwadrateerde grootte halveer. Maak dit goed met twee keer die variansie: s = sqrt(2 / n_in). Dit is He initialisering, reg vir ReLU. Met breedte 100 gee He sqrt(0.02) = 0.141: presies die "ok" skaal van die vorige les.
Opsomming tanh: Xavier, sqrt(2 / (n_in + n_out)), of LeCun, 1 / sqrt(n_in). ReLU: He, sqrt(2 / n_in).
Woorde en simbole in hierdie les
- initialisation
- hoe die wegte voor die opleiding begin gestel word
- Xavier, LeCun, He
- beginnende verbreidingsfaktore is sqrt(2 / (inputs + outputs)) of 1 / sqrt(inputs) vir tanh, en sqrt(2 / inputs) vir ReLU
Skryf xavier(n_in, n_out, rng) en he(n_in, n_out, rng) wat gewigmatrikse teruggee. Met He-gewigte moet die aktiveringverspreiding na 20 ReLU-lae met 'n breedte van 256 tussen 0.2 en 5 bly.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.