Много голов, та же цена
Почему это важно Один узор внимания на слой - это ограничение: позиции может понадобиться смотреть на предыдущий символ и одновременно на начало слова. Многоголовое внимание запускает несколько меньших внимании бок о бок.
Посмотрите
Запустите анимацию. Разделите d столбцов Q, K и V на H групп по d / H. Каждая группа (голова) выполняет собственное внимание со своим узором. Склейте H выходов обратно бок о бок в d столбцов, затем смешайте их ещё одной матрицей Wo.
Цена: те же матрицы, что у одной большой головы, просто нарезанные на куски, поэтому число параметров не меняется. Каждая голова уже, поэтому делит на квадратный корень из d / H.
Слова и символы этого урока
- attention
- softmax оценок query-key, используемый для усреднения values
- голова
- одно из H более узких внимании, работающих бок о бок, каждое со своим узором
Напишите multi_head(X, Wq, Wk, Wv, Wo, H) (без маски), возвращающую выход и список из H матриц внимания.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.