Обходные связи (residual-связи)
Почему это важно Residual-связи - причина, по которой сети с сотнями слоёв вообще обучаются. Их использует каждый блок трансформера.
Простой слой заменяет свой вход: h = f(h). Residual-блок прибавляет к нему: h = h + f(h). Если f не учит ничего полезного, блок просто пропускает h без изменений, поэтому дополнительная глубина в начале никогда не может сделать хуже. А на обратном пути у градиента есть прямой маршрут по пути "+ h", минующий слой целиком, поэтому он не может затухнуть.
Честное предупреждение об эксперименте ниже: обе сети начинают с одних и тех же намеренно маленьких весов, N(0, 0,1). Именно этот старт топит простую сеть. С начальными весами He из начала этого модуля простая сеть из 30 слоёв тоже обучается (5 из 6 seed в прогонах курса). Обходные связи добавляют надёжность: они обучаются даже с плохого старта и продолжают работать на глубинах, где одних аккуратных начальных весов уже недостаточно.
Здесь вклад каждого блока также масштабирован на 1 / depth - распространённый трюк, чтобы 30 сложений не взорвали сигнал.
Residual-связь (или skip-связь, обходная связь): прибавление входа блока к его выходу.
Угадайте кривую: угадайте итоговые потери после 150 шагов для простой сети и для сети с обходными связями. (Потери 0,693 значат подбрасывание монетки в этой задаче с двумя классами.)
Слова и символы этого урока
- Xavier, LeCun, He
- начальные разбросы sqrt(2 / (inputs + outputs)) или 1 / sqrt(inputs) для tanh и sqrt(2 / inputs) для ReLU
- residual-связь
- прибавление входа блока к его выходу: h + f(h)
Заполните my_guess. Затем напишите block(h, W, b, shortcuts, depth): без обходных связей верните relu(h @ W + b); с ними верните h + relu(h @ W + b) * (1 / depth). Тест обучает обе сети из 30 слоёв с одних и тех же маленьких начальных весов.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.