Программа курса Урок 84 из 246 · Модуль 6: Начальные веса и нормализация
Модуль 6: Начальные веса и нормализация

Обходные связи (residual-связи)

Почему это важно Residual-связи - причина, по которой сети с сотнями слоёв вообще обучаются. Их использует каждый блок трансформера.

Простой слой заменяет свой вход: h = f(h). Residual-блок прибавляет к нему: h = h + f(h). Если f не учит ничего полезного, блок просто пропускает h без изменений, поэтому дополнительная глубина в начале никогда не может сделать хуже. А на обратном пути у градиента есть прямой маршрут по пути "+ h", минующий слой целиком, поэтому он не может затухнуть.

Честное предупреждение об эксперименте ниже: обе сети начинают с одних и тех же намеренно маленьких весов, N(0, 0,1). Именно этот старт топит простую сеть. С начальными весами He из начала этого модуля простая сеть из 30 слоёв тоже обучается (5 из 6 seed в прогонах курса). Обходные связи добавляют надёжность: они обучаются даже с плохого старта и продолжают работать на глубинах, где одних аккуратных начальных весов уже недостаточно.

Здесь вклад каждого блока также масштабирован на 1 / depth - распространённый трюк, чтобы 30 сложений не взорвали сигнал.

Residual-связь (или skip-связь, обходная связь): прибавление входа блока к его выходу.

Угадайте кривую: угадайте итоговые потери после 150 шагов для простой сети и для сети с обходными связями. (Потери 0,693 значат подбрасывание монетки в этой задаче с двумя классами.)

Слова и символы этого урока
Xavier, LeCun, He
начальные разбросы sqrt(2 / (inputs + outputs)) или 1 / sqrt(inputs) для tanh и sqrt(2 / inputs) для ReLU
residual-связь
прибавление входа блока к его выходу: h + f(h)
Твоя очередь

Заполните my_guess. Затем напишите block(h, W, b, shortcuts, depth): без обходных связей верните relu(h @ W + b); с ними верните h + relu(h @ W + b) * (1 / depth). Тест обучает обе сети из 30 слоёв с одних и тех же маленьких начальных весов.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.