Кто помнит? Записанные прогоны
Почему это важно Учебник говорит, что LSTM помнят, а простые RNN забывают. Курс это проверил, и у настоящего ответа есть поворот, который стоит знать, прежде чем вы когда-нибудь обучите такую сеть.
Записанный эксперимент rnn-vs-lstm-memory: сеть видит один из четырёх символов, затем промежуток из 5, 15, 30 или 60 символов того же алфавита и должна сказать, каким был первый символ. Три вида сетей, по три seed:
- простая RNN с tanh;
- LSTM, у которой вентиль забывания начинается со смещения 1 (сначала она сохраняет около 73% ячейки за шаг);
- LSTM, у которой вентиль забывания начинается со смещения 3 (около 95%).
Прежде чем читать прогоны, предскажите: какой вид успешен на всех трёх seed при промежутке 60?
Слова и символы этого урока
- рекуррентная сеть (RNN)
- сеть, которая читает по одному шагу за раз и несёт скрытое состояние вперёд
- LSTM
- RNN с ячейкой памяти c и тремя вентилями: забывания, входа, выхода
Присвойте my_prediction значение "rnn", "lstm-forget-bias-1" или "lstm-forget-bias-3". Затем заполните successes: (cell, gap) к числу из трёх seed, достигших хотя бы 95% точности на тесте, используя nnsim.recorded.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.