Слишком мало, слишком много: затухание и взрыв
Почему это важно Затухший сигнал значит, что каждый градиент почти ноль и обучение встаёт. Взорвавшийся значит переполнение и nan. Оба идут от начальных весов.
Посмотрите
Запустите анимацию: одна и та же стопка из 20 слоёв, запущенная тремя способами. Слишком мало - и сигнал слой за слоем угасает до нуля. Слишком много - и он удваивается и удваивается, пока не переполнится. В самый раз - и он держится ровно на всём пути. Градиент на обратном пути ждёт та же судьба.
Затухание: активации или градиенты, сжимающиеся к нулю по мере прохождения слоёв. Взрыв: рост без предела.
Слова и символы этого урока
- затухание, взрыв
- сигналы или градиенты, которые по мере прохождения слоёв сжимаются до нуля или растут без предела
- Xavier, LeCun, He
- начальные разбросы sqrt(2 / (inputs + outputs)) или 1 / sqrt(inputs) для tanh и sqrt(2 / inputs) для ReLU
Используя свою spreads из прошлого урока (она дана), напишите verdict(scale), возвращающую "vanish", если итоговый разброс ниже 1e-3, "explode", если выше 1e3, иначе "ok". Затем перед запуском заполните my_predictions для масштабов 0.05, 0.14 и 0.5.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.