Прямой проход BatchNorm и скользящие средние
Почему это важно Во время обучения BatchNorm использует собственные статистики батча. Когда модель применяют к одному примеру за раз, батча нет, поэтому она должна помнить типичные статистики с обучения.
Во время обучения ведите скользящие средние среднего и дисперсии каждого признака: running = (1 - momentum) * running + momentum * batch_value, с momentum 0,1. В режиме оценки нормализуйте этими скользящими значениями вместо значений батча.
Режим обучения: использовать статистики батча и обновлять скользящие средние. Режим оценки: использовать сохранённые скользящие средние и ничего не менять.
Слова и символы этого урока
- Xavier, LeCun, He
- начальные разбросы sqrt(2 / (inputs + outputs)) или 1 / sqrt(inputs) для tanh и sqrt(2 / inputs) для ReLU
- BatchNorm (gamma, beta)
- нормализовать каждый признак по батчу, затем перемасштабировать обучаемыми gamma и beta
Напишите класс BatchNorm(n, momentum=0.1, eps=1e-5) с gamma (единицы), beta (нули), running_mean (нули), running_var (единицы), флагом training (вначале True) и __call__(X), ведущим себя как описано. Для running_var выбор курса - дисперсия батча, как её вычисляет np.var (деление на n); PyTorch хранит несмещённую (деление на n - 1), и принимаются обе.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.