Сигналы через 20 слоёв
Почему это важно Прежде чем глубокая сеть чему-либо научится, сигнал должен пережить путь через каждый слой. Часто он не переживает, и никакой оптимизатор этого не исправит.
Протолкните батч случайных входов через 20 слоёв h = relu(h @ W), где каждый вес взят из нормального распределения с некоторым разбросом. После каждого слоя измерьте разброс (стандартное отклонение) активаций.
Маленькие числа
Каждый слой умножает типичный размер сигнала примерно на один и тот же коэффициент. Если этот коэффициент 0,5, после 20 слоёв сигнал - 0,5 в 20-й степени: около одной миллионной. Если он 2 - примерно в миллион раз больше. Выживает только коэффициент около 1.
Итоги Глубина превращает маленькие изменения на слой в огромные.
Слова и символы этого урока
- Xavier, LeCun, He
- начальные разбросы sqrt(2 / (inputs + outputs)) или 1 / sqrt(inputs) для tanh и sqrt(2 / inputs) для ReLU
Напишите spreads(scale, depth=20, width=100, seed=0): начните с h = rng.standard_normal((256, width)), затем для каждого слоя возьмите W = rng.normal(0, scale, (width, width)) и присвойте h = relu(h @ W). Верните список h.std() после каждого слоя.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.