Программа курса Урок 75 из 246 · Модуль 6: Начальные веса и нормализация
Модуль 6: Начальные веса и нормализация

Сигналы через 20 слоёв

Почему это важно Прежде чем глубокая сеть чему-либо научится, сигнал должен пережить путь через каждый слой. Часто он не переживает, и никакой оптимизатор этого не исправит.

Протолкните батч случайных входов через 20 слоёв h = relu(h @ W), где каждый вес взят из нормального распределения с некоторым разбросом. После каждого слоя измерьте разброс (стандартное отклонение) активаций.

Маленькие числа

Каждый слой умножает типичный размер сигнала примерно на один и тот же коэффициент. Если этот коэффициент 0,5, после 20 слоёв сигнал - 0,5 в 20-й степени: около одной миллионной. Если он 2 - примерно в миллион раз больше. Выживает только коэффициент около 1.

Итоги Глубина превращает маленькие изменения на слой в огромные.

Слова и символы этого урока
Xavier, LeCun, He
начальные разбросы sqrt(2 / (inputs + outputs)) или 1 / sqrt(inputs) для tanh и sqrt(2 / inputs) для ReLU
Твоя очередь

Напишите spreads(scale, depth=20, width=100, seed=0): начните с h = rng.standard_normal((256, width)), затем для каждого слоя возьмите W = rng.normal(0, scale, (width, width)) и присвойте h = relu(h @ W). Верните список h.std() после каждого слоя.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.