Kurrikulum Leson 84 van 246 · Module 6: Beginnende gewigte en normalisering
Module 6: Beginnende gewigte en normalisering

Kortpaaie (residuële konneksies)

Waarom dit saak maak Residual connections is die rede waarom netwerke met honderde lae aan die een of ander kant kan oplei. Elke transformer blok gebruik hulle.

vervang sy input: h = f(h). 'n Residual block voeg by daaraan: h = h + f(h). As f niks nuttigs leer nie, laat die blok h bloot onveranderd deurgaan, so ekstra diepte kan dinge aan die begin nooit erger maak nie. En op die pad terug het die gradient 'n direkte roete langs die "+ h" pad, wat die laag heeltemal ooskakel, so dit kan nie verdwyn nie.

'n eerlike waarskuwing oor die eksperiment hieronder: beide netwerke begin by dieselfde doelbewus klein gewigte, N(0, 0.1). Daardie begin is wat die plain netwerk laat sink. Met He begin-gewigte van vroeër in hierdie module, tren die plain 30-laag netwerk ook (5 van 6 seeds in die kursus se runs). Wat shortcuts byvoeg is robuustheid: hulle tren selfs vanaf 'n swak begin, en hulle hou aan om te werk by dieptes waar versigtige begin-gewigte alleen nie meer genoeg is nie.

Hier word elke blok se bydrae ook geskaal deur 1 / depth, 'n algemene truc sodat 30 optellings nie die sein laat ontplof nie.

Residuele konneksie (of skip konneksie, kortpad): voeg 'n blok se input by sy output.

Voorspel die kurwe: raai die finale loss na 150 steps vir die plain network en vir die een met shortcuts. (’n Loss van 0.693 beteken ’n muntgooi op hierdie twee-klas taak.)

Woorde en simbole in hierdie les
Xavier, LeCun, He
beginnende verbreidinge is sqrt(2 / (inputs + outputs)) of 1 / sqrt(inputs) vir tanh, en sqrt(2 / inputs) vir ReLU
residuële konneksie
voeg 'n blok se input by sy output: h + f(h)
Jou beurt

Vul my_guess in. Skryf dan block(h, W, b, shortcuts, depth): sonder kortpaaie gee relu(h @ W + b) terug; met kortpaaie gee h + relu(h @ W + b) * (1 / depth) terug. Die toetsneem beide 30-laag netwerke vanaf dieselfde klein begingewigte.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.