Programma Lezione 79 di 246 · Modulo 6: Pesi iniziali e normalizzazione
Modulo 6: Pesi iniziali e normalizzazione

Che cosa fa BatchNorm ai numeri

Perché è importante BatchNorm ha reso addestrabili le reti molto profonde nel 2015. Guarda che cosa fa ai numeri prima di costruirlo.

Guardalo

Avvia l'animazione. Gli output di un layer arrivano con la propria media e dispersione per caratteristica, alcune enormi, alcune minuscole, alcune spostate. BatchNorm prende ogni caratteristica, sul batch attuale, sottrae la sua media e divide per la sua dispersione. Ora ogni caratteristica ha media 0 e dispersione 1. Poi moltiplica per un gamma appreso e aggiunge un beta appreso, così la rete può scegliere una scala diversa se aiuta.

Una nota onesta: perché BatchNorm aiuti è ancora discusso. La spiegazione dell'articolo originale ("internal covariate shift") non è più quella accettata; paesaggi di loss più lisci e la possibilità di learning rate più grandi sono ragioni meglio sostenute. Che cosa faccia ai numeri non è in dubbio.

BatchNorm: normalizzare ogni caratteristica usando le statistiche del batch attuale, poi riscalare con gamma e beta appresi.

Parole e simboli di questa lezione
Xavier, LeCun, He
dispersioni iniziali sqrt(2 / (input + output)) o 1 / sqrt(input) per tanh, e sqrt(2 / input) per ReLU
BatchNorm (gamma, beta)
normalizzare ogni caratteristica sul batch, poi riscalare con gamma e beta appresi
Tocca a te

Prevedi prima di calcolare: una caratteristica ha i valori [2, 4, 6, 8] in un batch, gamma è 3 e beta è 1. Imposta my_output sui quattro numeri che produce BatchNorm (usa eps = 0). Poi scrivi batchnorm_forward(X, gamma, beta, eps=1e-5) per un batch 2D.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.