Вентили LSTM, построенные
Почему это важно LSTM (1997, а вентиль забывания, который здесь изучается, добавлен в 2000) решила проблему памяти RNN и двадцать лет питала распознавание речи и перевод. Её трюк прост, когда вы его увидите.
Посмотрите
Запустите анимацию. Кроме скрытого состояния h, LSTM хранит ячейку c, ленту конвейера памяти. Три вентиля, каждый - сигмоида между 0 и 1, решают, что с ней происходит:
- вентиль забывания f: сколько старой ячейки сохранить;
- входной вентиль i: сколько новой информации g записать;
- выходной вентиль o: сколько ячейки показать как h.
z = [x, h] @ W + b # one matrix for all four parts
i, f, g, o = sigmoid, sigmoid, tanh, sigmoid of the four quarters of z
c = f * c + i * g
h = o * tanh(c)
Ключевая строка - c = f * c + i * g. При шаге назад градиент на ячейке умножается на f, и больше ни на что: никакого повторного умножения на матрицу весов. Он всё ещё сжимается на f каждый шаг, поэтому после k шагов это f в степени k. При f = 0,95 это 0,08 после 50 шагов; при f = 0,999 это 0,95. Поэтому LSTM помнит далеко, когда её вентили забывания остаются очень близки к 1, а следующий урок измеряет, насколько близко - достаточно близко.
Слова и символы этого урока
- рекуррентная сеть (RNN)
- сеть, которая читает по одному шагу за раз и несёт скрытое состояние вперёд
- скрытое состояние h
- короткий вектор чисел, который RNN несёт от шага к шагу
- LSTM
- RNN с ячейкой памяти c и тремя вентилями: забывания, входа, выхода
Напишите lstm_step(x, h, c, W, b), возвращающую (h, c), где W формы (inputs + hidden, 4 * hidden), а четыре четверти идут в порядке i, f, g, o. Входы батчевые: x - (batch, inputs), h и c - (batch, hidden), поэтому соедините x и h вдоль оси 1.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.