Программа курса Урок 125 из 246 · Модуль 11: Сети с памятью (RNN)
Модуль 11: Сети с памятью (RNN)

Последовательности и состояние

Почему это важно Текст, речь, цены и показания датчиков приходят по одному шагу, и то, что было раньше, меняет то, что будет дальше. Рекуррентная сеть несёт вперёд текущую сводку.

Рекуррентная нейронная сеть (RNN) хранит скрытое состояние h, короткий вектор. На каждом шаге она смешивает новый вход со старым состоянием и сжимает результат:

h = tanh(x_t @ Wx + h @ Wh + b)

На каждом шаге используются одни и те же веса, так же как CNN повторно использует свой фильтр в каждой позиции. Итоговое h зависит от всего, что сеть прочитала, поэтому это (с потерями) память обо всей последовательности.

Маленькие числа

Одно входное число, одно скрытое число, Wx = 1, Wh = 0,5, b = 0, h начинается с 0. Читаем 1, затем 0: h = tanh(1) = 0,76, затем h = tanh(0 + 0,38) = 0,36. Первый вход всё ещё виден в состоянии после второго шага, затухая.

Скрытое состояние: вектор, который RNN несёт от шага к шагу. Рекуррентная: подающая собственный выход обратно на вход.

Слова и символы этого урока
рекуррентная сеть (RNN)
сеть, которая читает по одному шагу за раз и несёт скрытое состояние вперёд
Твоя очередь

Напишите rnn_forward(xs, Wx, Wh, b): xs имеет форму (steps, input size); начните с нулевого состояния и верните список скрытых состояний после каждого шага.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.