Внимание устраняет узкое место
Почему это важно Внимание изобрели в 2014 году, чтобы исправить ровно ту проблему, которую вы измерили в модуле 11: кодировщик сжимает целое предложение в один вектор.
В записанном эксперименте seq2seq-bottleneck декодер модели с вниманием на каждом шаге обращает внимание на все скрытые состояния кодировщика (его query - собственное состояние декодера). Он больше не зависит от одного итогового вектора; он может смотреть прямо назад на нужную цифру.
Предскажите: на длине 16, где простая модель правильно получала около 59% цифр, сколько получает модель с вниманием?
Слова и символы этого урока
- query, key, value
- что ищет позиция; что каждая позиция предлагает для сопоставления; что она отдаёт
- attention
- softmax оценок query-key, используемый для усреднения values
Присвойте my_guess число от 0 до 1: вашу догадку о точности по цифрам модели с вниманием на длине 16. Заполните acc: (model, length) к средней точности по цифрам двух seed, для обеих моделей и всех четырёх длин, и gain_at_16.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.