Программа курса Урок 127 из 246 · Модуль 11: Сети с памятью (RNN)
Модуль 11: Сети с памятью (RNN)

Обратное распространение во времени - это обычное обратное распространение

Почему это важно "Обратное распространение во времени" звучит как новый алгоритм. Это не так: разверните цикл, и это обратное распространение по глубокой сети, слои которой разделяют один набор весов.

Посмотрите

Запустите анимацию. Три шага RNN, нарисованные рядом, - это три слоя. Один и тот же вес w появляется в каждом. При обратном проходе градиент для w собирает по вкладу от каждой копии, ровно как узел, использованный несколько раз, в вашем движке из модуля 4.

Маленькие числа

Линейная RNN с одним числом: h_t = w h_(t-1) + x_t, начиная с h_0 = 0, с потерями loss = h_3. Входы 1, 2, 3 и w = 0,5: h1 = 1, h2 = 2,5, h3 = 4,25. dL/dh3 = 1. Идём назад: dL/dh2 = w = 0,5 и dL/dh1 = w в квадрате = 0,25. Каждая копия w вносит (градиент на её выходе) × (h, на которое она умножала): 1 × h2 + 0,5 × h1 + 0,25 × h0 = 2,5 + 0,5 + 0 = 3,0.

BPTT: обратное распространение во времени; разверните шаги и распространите назад, складывая градиент от каждого шага, разделяющего вес.

Слова и символы этого урока
рекуррентная сеть (RNN)
сеть, которая читает по одному шагу за раз и несёт скрытое состояние вперёд
обратное распространение во времени (BPTT)
развернуть шаги и распространить назад, складывая градиент от каждого шага, разделяющего вес
Твоя очередь

Для RNN с одним числом h_t = w * h_(t-1) + x_t с h_0 = 0 и потерями h_T (последнее состояние) напишите bptt(xs, w), возвращающую dL/dw, проходя по шагам назад.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.