Обратный проход BatchNorm на батче из 3 чисел (по желанию)
Почему это важно Это самое трудное правило backward в части 1, и оно необязательное. Его урок: когда каждый выход зависит от каждого входа (через среднее и разброс), градиент получает дополнительные члены.
Сначала разберите это на одном признаке с батчем из 3. При x_hat = (x - mean) / spread и y = gamma x_hat + beta градиент по x - не просто gamma / spread, умноженное на приходящий градиент. Подталкивание одного x сдвигает среднее и разброс, что сдвигает и каждый другой выход. Результат по признаку, где g - приходящий градиент, а N - размер батча:
dx = (gamma / spread) * (g - g.mean() - x_hat * (g * x_hat).mean())
Читайте это так: простой градиент минус часть, которая лишь сдвигала всё вместе (член среднего), минус часть, которая лишь растягивала всё вместе (член разброса). Эти две части гасит сама нормализация.
Если застрянете, разобранное решение открывается из подсказок. Пропуск этого урока ничего не блокирует.
Слова и символы этого урока
- Xavier, LeCun, He
- начальные разбросы sqrt(2 / (inputs + outputs)) или 1 / sqrt(inputs) для tanh и sqrt(2 / inputs) для ReLU
- BatchNorm (gamma, beta)
- нормализовать каждый признак по батчу, затем перемасштабировать обучаемыми gamma и beta
Напишите batchnorm_backward(X, gamma, g, eps=1e-5), возвращающую (dX, dgamma, dbeta) для двумерного батча, где g - градиент, приходящий на выход.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.