Che cosa fa BatchNorm ai numeri
Perché è importante BatchNorm ha reso addestrabili le reti molto profonde nel 2015. Guarda che cosa fa ai numeri prima di costruirlo.
Guardalo
Avvia l'animazione. Gli output di un layer arrivano con la propria media e dispersione per caratteristica, alcune enormi, alcune minuscole, alcune spostate. BatchNorm prende ogni caratteristica, sul batch attuale, sottrae la sua media e divide per la sua dispersione. Ora ogni caratteristica ha media 0 e dispersione 1. Poi moltiplica per un gamma appreso e aggiunge un beta appreso, così la rete può scegliere una scala diversa se aiuta.
Una nota onesta: perché BatchNorm aiuti è ancora discusso. La spiegazione dell'articolo originale ("internal covariate shift") non è più quella accettata; paesaggi di loss più lisci e la possibilità di learning rate più grandi sono ragioni meglio sostenute. Che cosa faccia ai numeri non è in dubbio.
BatchNorm: normalizzare ogni caratteristica usando le statistiche del batch attuale, poi riscalare con gamma e beta appresi.
Parole e simboli di questa lezione
- Xavier, LeCun, He
- dispersioni iniziali sqrt(2 / (input + output)) o 1 / sqrt(input) per tanh, e sqrt(2 / input) per ReLU
- BatchNorm (gamma, beta)
- normalizzare ogni caratteristica sul batch, poi riscalare con gamma e beta appresi
Prevedi prima di calcolare: una caratteristica ha i valori [2, 4, 6, 8] in un batch, gamma è 3 e beta è 1. Imposta my_output sui quattro numeri che produce BatchNorm (usa eps = 0). Poi scrivi batchnorm_forward(X, gamma, beta, eps=1e-5) per un batch 2D.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.