Программа курса Урок 132 из 246 · Модуль 11: Сети с памятью (RNN)
Модуль 11: Сети с памятью (RNN)

Одна читает, другая пишет: узкое место

Почему это важно Перевод раньше работал так: одна RNN читает предложение в один вектор, другая пишет по нему выход. Этот один вектор - узкое место, и именно его провал стал причиной изобретения внимания.

Кодировщик-декодер: RNN-кодировщик читает вход; её итоговое скрытое состояние передаётся RNN-декодеру, который пишет выход по одному символу, подавая каждый ответ обратно на вход. Всё, что декодер знает о входе, должно протиснуться через этот один вектор из 48 чисел.

Записанный эксперимент seq2seq-bottleneck обучал такие сети писать последовательность цифр задом наперёд, для длин 4, 8, 12 и 16, по два seed на каждую. Он также обучал версию с вниманием, с которой вы встретитесь в модуле 13. Пока смотрите только на простые.

Угадайте кривую: предскажите точность по цифрам простой модели на длине 16. Случай - 10%.

Слова и символы этого урока
рекуррентная сеть (RNN)
сеть, которая читает по одному шагу за раз и несёт скрытое состояние вперёд
кодировщик-декодер
одна RNN читает вход в вектор, другая пишет по нему выход
узкое место
единственный вектор, через который всё должно протиснуться
Твоя очередь

Присвойте my_guess_16, затем заполните plain_acc: длина к средней точности по цифрам двух простых прогонов.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.