Программа курса Урок 80 из 246 · Модуль 6: Начальные веса и нормализация
Модуль 6: Начальные веса и нормализация

Прямой проход BatchNorm и скользящие средние

Почему это важно Во время обучения BatchNorm использует собственные статистики батча. Когда модель применяют к одному примеру за раз, батча нет, поэтому она должна помнить типичные статистики с обучения.

Во время обучения ведите скользящие средние среднего и дисперсии каждого признака: running = (1 - momentum) * running + momentum * batch_value, с momentum 0,1. В режиме оценки нормализуйте этими скользящими значениями вместо значений батча.

Режим обучения: использовать статистики батча и обновлять скользящие средние. Режим оценки: использовать сохранённые скользящие средние и ничего не менять.

Слова и символы этого урока
Xavier, LeCun, He
начальные разбросы sqrt(2 / (inputs + outputs)) или 1 / sqrt(inputs) для tanh и sqrt(2 / inputs) для ReLU
BatchNorm (gamma, beta)
нормализовать каждый признак по батчу, затем перемасштабировать обучаемыми gamma и beta
Твоя очередь

Напишите класс BatchNorm(n, momentum=0.1, eps=1e-5) с gamma (единицы), beta (нули), running_mean (нули), running_var (единицы), флагом training (вначале True) и __call__(X), ведущим себя как описано. Для running_var выбор курса - дисперсия батча, как её вычисляет np.var (деление на n); PyTorch хранит несмещённую (деление на n - 1), и принимаются обе.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.