Snelkoppelingen (residuele verbindingen)
Waarom dit ertoe doet Residual connections zijn de reden waarom netwerken met honderden lagen überhaupt trainen. Elke transformer block gebruikt ze.
A vlak vervangt zijn input: h = f(h). Een residual block voegt eraan toe: h = h + f(h). Als f niets nuttigs leert, geeft de block h gewoon onveranderd door, dus extra diepte kan dingen aan het begin nooit verslechteren. En op de weg terug heeft de gradient een directe route langs het "+ h" pad, waardoor de laag volledig wordt overgeslagen, dus het kan niet verdwijnen.
Een eerlijke waarschuwing over het experiment hieronder: beide netwerken beginnen met dezelfde bewust kleine gewichten, N(0, 0.1). Die start is wat het simpele netwerk naar beneden haalt. Met de He startgewichten van eerder in deze module traint het simpele 30-laagse netwerk ook (5 van de 6 seeds in de runs van de cursus). Wat shortcuts toevoegen is robuustheid: ze trainen zelfs vanaf een slechte start, en ze blijven werken op dieptes waar alleen zorgvuldige startgewichten niet meer genoeg zijn.
Hier wordt de bijdrage van elk blok ook geschaald door 1 / depth, een veelgebruikte truc zodat 30 optellingen het signaal niet laten exploderen.
Residual connection (of skip connection, shortcut): het toevoegen van de input van een blok aan de output.
Roep de Curve op: raad de uiteindelijke loss na 150 stappen voor het gewone netwerk en voor het netwerk met shortcuts. (Een loss van 0.693 betekent een muntworp bij deze taak met twee klassen.)
Woorden en symbolen in deze les
- Xavier, LeCun, He
- beginnende spreads zijn sqrt(2 / (inputs + outputs)) of 1 / sqrt(inputs) voor tanh, en sqrt(2 / inputs) voor ReLU
- residual connection
- voeg de input van een blok toe aan de output: h + f(h)
Vul my_guess in. Schrijf dan block(h, W, b, shortcuts, depth): zonder snelkoppelingen retourneer relu(h @ W + b); met snelkoppelingen retourneer h + relu(h @ W + b) * (1 / depth). De test traint beide 30-laagse netwerken vanuit dezelfde kleine beginweights.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.