Programma Les 84 van 246 · Module 6: Startgewichten en normalisatie
Module 6: Startgewichten en normalisatie

Snelkoppelingen (residuele verbindingen)

Waarom dit ertoe doet Residual connections zijn de reden waarom netwerken met honderden lagen überhaupt trainen. Elke transformer block gebruikt ze.

A vlak vervangt zijn input: h = f(h). Een residual block voegt eraan toe: h = h + f(h). Als f niets nuttigs leert, geeft de block h gewoon onveranderd door, dus extra diepte kan dingen aan het begin nooit verslechteren. En op de weg terug heeft de gradient een directe route langs het "+ h" pad, waardoor de laag volledig wordt overgeslagen, dus het kan niet verdwijnen.

Een eerlijke waarschuwing over het experiment hieronder: beide netwerken beginnen met dezelfde bewust kleine gewichten, N(0, 0.1). Die start is wat het simpele netwerk naar beneden haalt. Met de He startgewichten van eerder in deze module traint het simpele 30-laagse netwerk ook (5 van de 6 seeds in de runs van de cursus). Wat shortcuts toevoegen is robuustheid: ze trainen zelfs vanaf een slechte start, en ze blijven werken op dieptes waar alleen zorgvuldige startgewichten niet meer genoeg zijn.

Hier wordt de bijdrage van elk blok ook geschaald door 1 / depth, een veelgebruikte truc zodat 30 optellingen het signaal niet laten exploderen.

Residual connection (of skip connection, shortcut): het toevoegen van de input van een blok aan de output.

Roep de Curve op: raad de uiteindelijke loss na 150 stappen voor het gewone netwerk en voor het netwerk met shortcuts. (Een loss van 0.693 betekent een muntworp bij deze taak met twee klassen.)

Woorden en symbolen in deze les
Xavier, LeCun, He
beginnende spreads zijn sqrt(2 / (inputs + outputs)) of 1 / sqrt(inputs) voor tanh, en sqrt(2 / inputs) voor ReLU
residual connection
voeg de input van een blok toe aan de output: h + f(h)
Jij bent aan de beurt

Vul my_guess in. Schrijf dan block(h, W, b, shortcuts, depth): zonder snelkoppelingen retourneer relu(h @ W + b); met snelkoppelingen retourneer h + relu(h @ W + b) * (1 / depth). De test traint beide 30-laagse netwerken vanuit dezelfde kleine beginweights.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.