Программа курса Урок 129 из 246 · Модуль 11: Сети с памятью (RNN)
Модуль 11: Сети с памятью (RNN)

Вентили LSTM, построенные

Почему это важно LSTM (1997, а вентиль забывания, который здесь изучается, добавлен в 2000) решила проблему памяти RNN и двадцать лет питала распознавание речи и перевод. Её трюк прост, когда вы его увидите.

Посмотрите

Запустите анимацию. Кроме скрытого состояния h, LSTM хранит ячейку c, ленту конвейера памяти. Три вентиля, каждый - сигмоида между 0 и 1, решают, что с ней происходит:

  • вентиль забывания f: сколько старой ячейки сохранить;
  • входной вентиль i: сколько новой информации g записать;
  • выходной вентиль o: сколько ячейки показать как h.
z = [x, h] @ W + b            # one matrix for all four parts
i, f, g, o = sigmoid, sigmoid, tanh, sigmoid of the four quarters of z
c = f * c + i * g
h = o * tanh(c)

Ключевая строка - c = f * c + i * g. При шаге назад градиент на ячейке умножается на f, и больше ни на что: никакого повторного умножения на матрицу весов. Он всё ещё сжимается на f каждый шаг, поэтому после k шагов это f в степени k. При f = 0,95 это 0,08 после 50 шагов; при f = 0,999 это 0,95. Поэтому LSTM помнит далеко, когда её вентили забывания остаются очень близки к 1, а следующий урок измеряет, насколько близко - достаточно близко.

Слова и символы этого урока
рекуррентная сеть (RNN)
сеть, которая читает по одному шагу за раз и несёт скрытое состояние вперёд
скрытое состояние h
короткий вектор чисел, который RNN несёт от шага к шагу
LSTM
RNN с ячейкой памяти c и тремя вентилями: забывания, входа, выхода
Твоя очередь

Напишите lstm_step(x, h, c, W, b), возвращающую (h, c), где W формы (inputs + hidden, 4 * hidden), а четыре четверти идут в порядке i, f, g, o. Входы батчевые: x - (batch, inputs), h и c - (batch, hidden), поэтому соедините x и h вдоль оси 1.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.