Одна читает, другая пишет: узкое место
Почему это важно Перевод раньше работал так: одна RNN читает предложение в один вектор, другая пишет по нему выход. Этот один вектор - узкое место, и именно его провал стал причиной изобретения внимания.
Кодировщик-декодер: RNN-кодировщик читает вход; её итоговое скрытое состояние передаётся RNN-декодеру, который пишет выход по одному символу, подавая каждый ответ обратно на вход. Всё, что декодер знает о входе, должно протиснуться через этот один вектор из 48 чисел.
Записанный эксперимент seq2seq-bottleneck обучал такие сети писать последовательность цифр задом наперёд, для длин 4, 8, 12 и 16, по два seed на каждую. Он также обучал версию с вниманием, с которой вы встретитесь в модуле 13. Пока смотрите только на простые.
Угадайте кривую: предскажите точность по цифрам простой модели на длине 16. Случай - 10%.
Слова и символы этого урока
- рекуррентная сеть (RNN)
- сеть, которая читает по одному шагу за раз и несёт скрытое состояние вперёд
- кодировщик-декодер
- одна RNN читает вход в вектор, другая пишет по нему выход
- узкое место
- единственный вектор, через который всё должно протиснуться
Присвойте my_guess_16, затем заполните plain_acc: длина к средней точности по цифрам двух простых прогонов.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.