Программа курса Урок 78 из 246 · Модуль 6: Начальные веса и нормализация
Модуль 6: Начальные веса и нормализация

Мёртвые ReLU

Почему это важно ReLU, которая выключена для каждого входа, не пропускает градиент, поэтому больше никогда не учится. Целые слои могут тихо умереть.

Элемент мёртв, если его выход равен нулю для каждого примера в батче. Частые причины: большое отрицательное смещение или одно огромное обновление, которое сдвинуло его веса далеко в минус.

Маленькие числа

Активации для 4 примеров и 3 элементов: [[0, 1.2, 0], [0, 0.3, 0], [0, 2.0, 0.1], [0, 0, 0]]. Элемент 1 везде ноль: мёртв. Элемент 3 сработал один раз: жив. Доля мёртвых: 1 из 3.

Исправления: разумные начальные веса, смещения, начинающиеся с 0 (или чуть положительные), меньшая скорость обучения или leaky ReLU, которая сохраняет небольшой наклон (скажем 0,01) для отрицательных входов, чтобы элемент мог восстановиться.

Слова и символы этого урока
Xavier, LeCun, He
начальные разбросы sqrt(2 / (inputs + outputs)) или 1 / sqrt(inputs) для tanh и sqrt(2 / inputs) для ReLU
Твоя очередь

Напишите dead_fraction(H) для матрицы активаций (примеры на элементы). Затем для слоя ниже, который запустили со смещениями -4, напишите fixed_layer(X, W), который сохраняет те же веса, но использует нулевые смещения и leaky ReLU с наклоном 0,01; его доля мёртвых (считая выходы ровно ноль) должна быть 0.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.