Signale deur 20 lae
Waarom dit saak maak Voordat 'n diep netwerk enigiets leer, moet die sein die reis deur elke laag oorleef. Dikwels doen dit nie, en geen optimiser kan dit regstel nie.
Stoot 'n pakkie willeke insets deur 20 lae van h = relu(h @ W), met elke gewig wat uit 'n normale verdeling van 'n sekere spreiding getrek word. Meet die spreiding (standaardafwyking) van die aktiverings na elke laag.
Klein getalle
Elke laag vermenigvuldig die tipiese grootte van die sein met ongeveer dieselfde faktor. As daardie faktor 0.5 is, is die sein na 20 lae 0.5 tot die 20ste: ongeveer een miljoenste. As dit 2 is, is dit ongeveer 'n miljoen keer groter. Slegs 'n faktor naby 1 oorleef.
Opsomming Diepte verander klein per-laag veranderinge in groot \ones.
Woorde en simbole in hierdie les
- Xavier, LeCun, He
- beginnende verbreidingsfaktore is sqrt(2 / (inputs + outputs)) of 1 / sqrt(inputs) vir tanh, en sqrt(2 / inputs) vir ReLU
Skryf spreads(scale, depth=20, width=100, seed=0): begin by h = rng.standard_normal((256, width)), dan teken W = rng.normal(0, scale, (width, width)) vir elke laag en stel h = relu(h @ W). Gee die lys van h.std() na elke laag terug.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.