Обратное распространение во времени - это обычное обратное распространение
Почему это важно "Обратное распространение во времени" звучит как новый алгоритм. Это не так: разверните цикл, и это обратное распространение по глубокой сети, слои которой разделяют один набор весов.
Посмотрите
Запустите анимацию. Три шага RNN, нарисованные рядом, - это три слоя. Один и тот же вес w появляется в каждом. При обратном проходе градиент для w собирает по вкладу от каждой копии, ровно как узел, использованный несколько раз, в вашем движке из модуля 4.
Маленькие числа
Линейная RNN с одним числом: h_t = w h_(t-1) + x_t, начиная с h_0 = 0, с потерями loss = h_3. Входы 1, 2, 3 и w = 0,5: h1 = 1, h2 = 2,5, h3 = 4,25. dL/dh3 = 1. Идём назад: dL/dh2 = w = 0,5 и dL/dh1 = w в квадрате = 0,25. Каждая копия w вносит (градиент на её выходе) × (h, на которое она умножала): 1 × h2 + 0,5 × h1 + 0,25 × h0 = 2,5 + 0,5 + 0 = 3,0.
BPTT: обратное распространение во времени; разверните шаги и распространите назад, складывая градиент от каждого шага, разделяющего вес.
Слова и символы этого урока
- рекуррентная сеть (RNN)
- сеть, которая читает по одному шагу за раз и несёт скрытое состояние вперёд
- обратное распространение во времени (BPTT)
- развернуть шаги и распространить назад, складывая градиент от каждого шага, разделяющего вес
Для RNN с одним числом h_t = w * h_(t-1) + x_t с h_0 = 0 и потерями h_T (последнее состояние) напишите bptt(xs, w), возвращающую dL/dw, проходя по шагам назад.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.