Programma Lezione 84 di 246 · Modulo 6: Pesi iniziali e normalizzazione
Modulo 6: Pesi iniziali e normalizzazione

Scorciatoie (connessioni residue)

Perché è importante Le connessioni residue sono il motivo per cui le reti con centinaia di layer si addestrano. Ogni blocco di un transformer le usa.

Un layer semplice sostituisce il suo input: h = f(h). Un blocco residuo ci aggiunge sopra: h = h + f(h). Se f non impara niente di utile, il blocco fa semplicemente passare h invariato, quindi all'inizio la profondità in più non può mai peggiorare le cose. E al ritorno, il gradiente ha una strada diretta lungo il percorso "+ h", che salta del tutto il layer, quindi non può svanire.

Un avvertimento onesto sull'esperimento qui sotto: entrambe le reti partono dagli stessi pesi volutamente piccoli, N(0, 0.1). È quella partenza ad affondare la rete semplice. Con i pesi iniziali He visti prima in questo modulo, anche la rete semplice da 30 layer si addestra (5 semi su 6 nelle esecuzioni del corso). Ciò che aggiungono le scorciatoie è la robustezza: si addestrano anche da una partenza scarsa, e continuano a funzionare a profondità in cui i soli pesi iniziali accurati smettono di bastare.

Qui il contributo di ogni blocco viene anche scalato di 1 / profondità, un trucco comune perché 30 addizioni non facciano esplodere il segnale.

Connessione residua (o skip connection, scorciatoia): aggiungere l'input di un blocco al suo output.

Indovina la curva: indovina la loss finale dopo 150 passi per la rete semplice e per quella con le scorciatoie. (Una loss di 0.693 significa testa o croce su questo compito a due classi.)

Parole e simboli di questa lezione
Xavier, LeCun, He
dispersioni iniziali sqrt(2 / (input + output)) o 1 / sqrt(input) per tanh, e sqrt(2 / input) per ReLU
connessione residua
aggiungere l'input di un blocco al suo output: h + f(h)
Tocca a te

Compila my_guess. Poi scrivi block(h, W, b, shortcuts, depth): senza scorciatoie restituisci relu(h @ W + b); con le scorciatoie restituisci h + relu(h @ W + b) * (1 / depth). Il test addestra entrambe le reti da 30 layer dagli stessi piccoli pesi iniziali.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.