Kurrikulum Leson 75 van 246 · Module 6: Beginnende gewigte en normalisering
Module 6: Beginnende gewigte en normalisering

Signale deur 20 lae

Waarom dit saak maak Voordat 'n diep netwerk enigiets leer, moet die sein die reis deur elke laag oorleef. Dikwels doen dit nie, en geen optimiser kan dit regstel nie.

Stoot 'n pakkie willeke insets deur 20 lae van h = relu(h @ W), met elke gewig wat uit 'n normale verdeling van 'n sekere spreiding getrek word. Meet die spreiding (standaardafwyking) van die aktiverings na elke laag.

Klein getalle

Elke laag vermenigvuldig die tipiese grootte van die sein met ongeveer dieselfde faktor. As daardie faktor 0.5 is, is die sein na 20 lae 0.5 tot die 20ste: ongeveer een miljoenste. As dit 2 is, is dit ongeveer 'n miljoen keer groter. Slegs 'n faktor naby 1 oorleef.

Opsomming Diepte verander klein per-laag veranderinge in groot \ones.

Woorde en simbole in hierdie les
Xavier, LeCun, He
beginnende verbreidingsfaktore is sqrt(2 / (inputs + outputs)) of 1 / sqrt(inputs) vir tanh, en sqrt(2 / inputs) vir ReLU
Jou beurt

Skryf spreads(scale, depth=20, width=100, seed=0): begin by h = rng.standard_normal((256, width)), dan teken W = rng.normal(0, scale, (width, width)) vir elke laag en stel h = relu(h @ W). Gee die lys van h.std() na elke laag terug.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.