Программа курса Урок 130 из 246 · Модуль 11: Сети с памятью (RNN)
Модуль 11: Сети с памятью (RNN)

Кто помнит? Записанные прогоны

Почему это важно Учебник говорит, что LSTM помнят, а простые RNN забывают. Курс это проверил, и у настоящего ответа есть поворот, который стоит знать, прежде чем вы когда-нибудь обучите такую сеть.

Записанный эксперимент rnn-vs-lstm-memory: сеть видит один из четырёх символов, затем промежуток из 5, 15, 30 или 60 символов того же алфавита и должна сказать, каким был первый символ. Три вида сетей, по три seed:

  • простая RNN с tanh;
  • LSTM, у которой вентиль забывания начинается со смещения 1 (сначала она сохраняет около 73% ячейки за шаг);
  • LSTM, у которой вентиль забывания начинается со смещения 3 (около 95%).

Прежде чем читать прогоны, предскажите: какой вид успешен на всех трёх seed при промежутке 60?

Слова и символы этого урока
рекуррентная сеть (RNN)
сеть, которая читает по одному шагу за раз и несёт скрытое состояние вперёд
LSTM
RNN с ячейкой памяти c и тремя вентилями: забывания, входа, выхода
Твоя очередь

Присвойте my_prediction значение "rnn", "lstm-forget-bias-1" или "lstm-forget-bias-3". Затем заполните successes: (cell, gap) к числу из трёх seed, достигших хотя бы 95% точности на тесте, используя nnsim.recorded.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.