Программа курса Урок 76 из 246 · Модуль 6: Начальные веса и нормализация
Модуль 6: Начальные веса и нормализация

Слишком мало, слишком много: затухание и взрыв

Почему это важно Затухший сигнал значит, что каждый градиент почти ноль и обучение встаёт. Взорвавшийся значит переполнение и nan. Оба идут от начальных весов.

Посмотрите

Запустите анимацию: одна и та же стопка из 20 слоёв, запущенная тремя способами. Слишком мало - и сигнал слой за слоем угасает до нуля. Слишком много - и он удваивается и удваивается, пока не переполнится. В самый раз - и он держится ровно на всём пути. Градиент на обратном пути ждёт та же судьба.

Затухание: активации или градиенты, сжимающиеся к нулю по мере прохождения слоёв. Взрыв: рост без предела.

Слова и символы этого урока
затухание, взрыв
сигналы или градиенты, которые по мере прохождения слоёв сжимаются до нуля или растут без предела
Xavier, LeCun, He
начальные разбросы sqrt(2 / (inputs + outputs)) или 1 / sqrt(inputs) для tanh и sqrt(2 / inputs) для ReLU
Твоя очередь

Используя свою spreads из прошлого урока (она дана), напишите verdict(scale), возвращающую "vanish", если итоговый разброс ниже 1e-3, "explode", если выше 1e3, иначе "ok". Затем перед запуском заполните my_predictions для масштабов 0.05, 0.14 и 0.5.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.