Программа курса Урок 128 из 246 · Модуль 11: Сети с памятью (RNN)
Модуль 11: Сети с памятью (RNN)

Затухающие и взрывающиеся градиенты, измеренные

Почему это важно Вы только что видели, как градиент для раннего шага умножается на w по разу на шаг. При многих шагах это произведение либо сжимается до нуля, либо взрывается. Это главная слабость простых RNN.

С матрицей весов W вместо числа шаг назад умножает градиент на транспонированную W (не считая tanh, который может его только ещё уменьшить). Один шаг может увеличить вектор не больше чем на наибольшее растяжение W, её спектральную норму. За много шагов важен спектральный радиус, величина наибольшего собственного значения W (модуль 2, "Как складывается разброс и что растягивает матрица"): после k шагов размер изменился примерно в r в степени k. (Для поворотов, используемых ниже, это одно и то же число, r.) r = 0,9 за 50 шагов: 0,005. r = 1,1 за 50 шагов: 117.

Два разных лекарства

У взрывающихся градиентов есть грубое лекарство: обрезать их (модуль 5). У затухающих такого лекарства нет. Полный градиент для веса - сумма по всем расстояниям назад во времени; когда дальние члены сжимаются как 0,9 в степени 50, их заглушают ближние, а масштабирование всей суммы вверх масштабирует вместе с ними и шум. Сеть просто не может понять, что что-то далеко позади имело значение. Лекарство здесь - другая архитектура: LSTM, дальше.

Слова и символы этого урока
рекуррентная сеть (RNN)
сеть, которая читает по одному шагу за раз и несёт скрытое состояние вперёд
затухающий / взрывающийся градиент
градиент, много раз умноженный на одну и ту же матрицу, сжимается до нуля или взрывается
LSTM
RNN с ячейкой памяти c и тремя вентилями: забывания, входа, выхода
Твоя очередь

Напишите gradient_sizes(W, steps): начните с градиента из единиц, умножайте на W.T по разу на шаг и верните список норм (по одной на шаг). Затем присвойте verdicts значение "vanish", "steady" или "explode" для трёх матриц, судя по норме после 50 шагов (ниже 0,01, между 0,01 и 100, выше 100).

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.