Программа курса Урок 79 из 246 · Модуль 6: Начальные веса и нормализация
Модуль 6: Начальные веса и нормализация

Что BatchNorm делает с числами

Почему это важно BatchNorm сделала очень глубокие сети обучаемыми в 2015 году. Посмотрите, что она делает с числами, прежде чем строить её.

Посмотрите

Запустите анимацию. Выходы слоя приходят со своими средним и разбросом по каждому признаку: одни огромные, другие крошечные, третьи сдвинутые. BatchNorm берёт каждый признак по текущему батчу, вычитает его среднее и делит на его разброс. Теперь у каждого признака среднее 0 и разброс 1. Затем она умножает на обучаемую gamma и прибавляет обучаемую beta, чтобы сеть могла выбрать другой масштаб, если это помогает.

Честное замечание: почему BatchNorm помогает, всё ещё обсуждается. Объяснение исходной статьи ("internal covariate shift") больше не считается принятым; более гладкие ландшафты потерь и возможность больших скоростей обучения - лучше подкреплённые причины. Что она делает с числами, сомнений не вызывает.

BatchNorm: нормализовать каждый признак по статистикам текущего батча, затем перемасштабировать обучаемыми gamma и beta.

Слова и символы этого урока
Xavier, LeCun, He
начальные разбросы sqrt(2 / (inputs + outputs)) или 1 / sqrt(inputs) для tanh и sqrt(2 / inputs) для ReLU
BatchNorm (gamma, beta)
нормализовать каждый признак по батчу, затем перемасштабировать обучаемыми gamma и beta
Твоя очередь

Предскажите до вычисления: у признака в батче значения [2, 4, 6, 8], gamma равна 3, а beta - 1. Присвойте my_output четыре числа, которые выдаёт BatchNorm (используйте eps = 0). Затем напишите batchnorm_forward(X, gamma, beta, eps=1e-5) для двумерного батча.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.