Temario Lección 80 de 246 · Módulo 6: Pesos iniciales y normalización
Módulo 6: Pesos iniciales y normalización

BatchNorm hacia delante y medias móviles

Por qué importa Durante el entrenamiento BatchNorm usa las estadísticas del propio lote. Cuando el modelo se usa con un ejemplo cada vez no hay lote, así que tiene que recordar estadísticas típicas del entrenamiento.

Durante el entrenamiento, guarda medias móviles de la media y la varianza de cada característica: running = (1 - momentum) * running + momentum * batch_value, con momentum 0.1. En modo de evaluación, normaliza con esos valores móviles en vez de con los del lote.

Modo de entrenamiento: usa las estadísticas del lote y actualiza las medias móviles. Modo de evaluación: usa las medias móviles guardadas y no cambia nada.

Palabras y símbolos de esta lección
Xavier, LeCun, He
dispersiones iniciales sqrt(2 / (entradas + salidas)) o 1 / sqrt(entradas) para tanh, y sqrt(2 / entradas) para ReLU
BatchNorm (gamma, beta)
normaliza cada característica sobre el lote, y luego reescala con gamma y beta aprendidos
Tu turno

Escribe la clase BatchNorm(n, momentum=0.1, eps=1e-5) con gamma (unos), beta (ceros), running_mean (ceros), running_var (unos), un indicador training (empieza en True) y __call__(X) que se comporte como se describe. Para running_var, la elección del curso es la varianza del lote tal como la calcula np.var (dividiendo entre n); PyTorch guarda la insesgada (dividiendo entre n - 1), y las dos se aceptan.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.