BatchNorm hacia delante y medias móviles
Por qué importa Durante el entrenamiento BatchNorm usa las estadísticas del propio lote. Cuando el modelo se usa con un ejemplo cada vez no hay lote, así que tiene que recordar estadísticas típicas del entrenamiento.
Durante el entrenamiento, guarda medias móviles de la media y la varianza de cada característica: running = (1 - momentum) * running + momentum * batch_value, con momentum 0.1. En modo de evaluación, normaliza con esos valores móviles en vez de con los del lote.
Modo de entrenamiento: usa las estadísticas del lote y actualiza las medias móviles. Modo de evaluación: usa las medias móviles guardadas y no cambia nada.
Palabras y símbolos de esta lección
- Xavier, LeCun, He
- dispersiones iniciales sqrt(2 / (entradas + salidas)) o 1 / sqrt(entradas) para tanh, y sqrt(2 / entradas) para ReLU
- BatchNorm (gamma, beta)
- normaliza cada característica sobre el lote, y luego reescala con gamma y beta aprendidos
Escribe la clase BatchNorm(n, momentum=0.1, eps=1e-5) con gamma (unos), beta (ceros), running_mean (ceros), running_var (unos), un indicador training (empieza en True) y __call__(X) que se comporte como se describe. Para running_var, la elección del curso es la varianza del lote tal como la calcula np.var (dividiendo entre n); PyTorch guarda la insesgada (dividiendo entre n - 1), y las dos se aceptan.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.