Programma Lezione 80 di 246 · Modulo 6: Pesi iniziali e normalizzazione
Modulo 6: Pesi iniziali e normalizzazione

BatchNorm in avanti e medie mobili

Perché è importante Durante l'addestramento BatchNorm usa le statistiche del batch stesso. Quando il modello viene usato su un esempio alla volta non c'è nessun batch, quindi deve ricordare le statistiche tipiche dell'addestramento.

Durante l'addestramento, tieni medie mobili della media e della varianza di ogni caratteristica: running = (1 - momentum) * running + momentum * batch_value, con momentum 0.1. In modalità di valutazione, normalizza con quei valori mobili invece che con quelli del batch.

Modalità di addestramento: usa le statistiche del batch e aggiorna le medie mobili. Modalità di valutazione: usa le medie mobili conservate e non cambia niente.

Parole e simboli di questa lezione
Xavier, LeCun, He
dispersioni iniziali sqrt(2 / (input + output)) o 1 / sqrt(input) per tanh, e sqrt(2 / input) per ReLU
BatchNorm (gamma, beta)
normalizzare ogni caratteristica sul batch, poi riscalare con gamma e beta appresi
Tocca a te

Scrivi la classe BatchNorm(n, momentum=0.1, eps=1e-5) con gamma (uni), beta (zeri), running_mean (zeri), running_var (uni), un flag training (parte True) e __call__(X) che si comporta come descritto. Per running_var, la varianza del batch come la calcola np.var (dividendo per n) è la scelta del corso; PyTorch tiene quella non distorta (dividendo per n - 1), e sono accettate entrambe.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.