Programma Lezione 81 di 246 · Modulo 6: Pesi iniziali e normalizzazione
Modulo 6: Pesi iniziali e normalizzazione

BatchNorm all'indietro su un batch di 3 numeri (facoltativo)

Perché è importante È la regola all'indietro più difficile della Parte 1, ed è facoltativa. La sua lezione: quando ogni output dipende da ogni input (attraverso la media e la dispersione), il gradiente raccoglie termini in più.

Lavoraci prima su una caratteristica con un batch di 3. Con x_hat = (x - media) / dispersione e y = gamma x_hat + beta, il gradiente rispetto a x non è solo gamma / dispersione per il gradiente che arriva. Spostare una x muove la media e la dispersione, il che muove anche ogni altro output. Il risultato, per caratteristica, con g il gradiente che arriva e N la dimensione del batch:

dx = (gamma / spread) * (g - g.mean() - x_hat * (g * x_hat).mean())

Leggilo così: il gradiente semplice, meno la parte che ha solo spostato tutto insieme (il termine della media), meno la parte che ha solo allungato tutto insieme (il termine della dispersione). Quelle due parti vengono annullate dalla normalizzazione stessa.

Una soluzione svolta si apre dai suggerimenti se ti blocchi. Saltare questa lezione non blocca niente.

Parole e simboli di questa lezione
Xavier, LeCun, He
dispersioni iniziali sqrt(2 / (input + output)) o 1 / sqrt(input) per tanh, e sqrt(2 / input) per ReLU
BatchNorm (gamma, beta)
normalizzare ogni caratteristica sul batch, poi riscalare con gamma e beta appresi
Tocca a te

Scrivi batchnorm_backward(X, gamma, g, eps=1e-5) che restituisce (dX, dgamma, dbeta) per un batch 2D, dove g è il gradiente che arriva all'output.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.