Что BatchNorm делает с числами
Почему это важно BatchNorm сделала очень глубокие сети обучаемыми в 2015 году. Посмотрите, что она делает с числами, прежде чем строить её.
Посмотрите
Запустите анимацию. Выходы слоя приходят со своими средним и разбросом по каждому признаку: одни огромные, другие крошечные, третьи сдвинутые. BatchNorm берёт каждый признак по текущему батчу, вычитает его среднее и делит на его разброс. Теперь у каждого признака среднее 0 и разброс 1. Затем она умножает на обучаемую gamma и прибавляет обучаемую beta, чтобы сеть могла выбрать другой масштаб, если это помогает.
Честное замечание: почему BatchNorm помогает, всё ещё обсуждается. Объяснение исходной статьи ("internal covariate shift") больше не считается принятым; более гладкие ландшафты потерь и возможность больших скоростей обучения - лучше подкреплённые причины. Что она делает с числами, сомнений не вызывает.
BatchNorm: нормализовать каждый признак по статистикам текущего батча, затем перемасштабировать обучаемыми gamma и beta.
Слова и символы этого урока
- Xavier, LeCun, He
- начальные разбросы sqrt(2 / (inputs + outputs)) или 1 / sqrt(inputs) для tanh и sqrt(2 / inputs) для ReLU
- BatchNorm (gamma, beta)
- нормализовать каждый признак по батчу, затем перемасштабировать обучаемыми gamma и beta
Предскажите до вычисления: у признака в батче значения [2, 4, 6, 8], gamma равна 3, а beta - 1. Присвойте my_output четыре числа, которые выдаёт BatchNorm (используйте eps = 0). Затем напишите batchnorm_forward(X, gamma, beta, eps=1e-5) для двумерного батча.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.