BatchNorm all'indietro su un batch di 3 numeri (facoltativo)
Perché è importante È la regola all'indietro più difficile della Parte 1, ed è facoltativa. La sua lezione: quando ogni output dipende da ogni input (attraverso la media e la dispersione), il gradiente raccoglie termini in più.
Lavoraci prima su una caratteristica con un batch di 3. Con x_hat = (x - media) / dispersione e y = gamma x_hat + beta, il gradiente rispetto a x non è solo gamma / dispersione per il gradiente che arriva. Spostare una x muove la media e la dispersione, il che muove anche ogni altro output. Il risultato, per caratteristica, con g il gradiente che arriva e N la dimensione del batch:
dx = (gamma / spread) * (g - g.mean() - x_hat * (g * x_hat).mean())
Leggilo così: il gradiente semplice, meno la parte che ha solo spostato tutto insieme (il termine della media), meno la parte che ha solo allungato tutto insieme (il termine della dispersione). Quelle due parti vengono annullate dalla normalizzazione stessa.
Una soluzione svolta si apre dai suggerimenti se ti blocchi. Saltare questa lezione non blocca niente.
Parole e simboli di questa lezione
- Xavier, LeCun, He
- dispersioni iniziali sqrt(2 / (input + output)) o 1 / sqrt(input) per tanh, e sqrt(2 / input) per ReLU
- BatchNorm (gamma, beta)
- normalizzare ogni caratteristica sul batch, poi riscalare con gamma e beta appresi
Scrivi batchnorm_backward(X, gamma, g, eps=1e-5) che restituisce (dX, dgamma, dbeta) per un batch 2D, dove g è il gradiente che arriva all'output.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.