Программа курса Урок 147 из 246 · Модуль 13: Внимание и трансформеры
Модуль 13: Внимание и трансформеры

Много голов, та же цена

Почему это важно Один узор внимания на слой - это ограничение: позиции может понадобиться смотреть на предыдущий символ и одновременно на начало слова. Многоголовое внимание запускает несколько меньших внимании бок о бок.

Посмотрите

Запустите анимацию. Разделите d столбцов Q, K и V на H групп по d / H. Каждая группа (голова) выполняет собственное внимание со своим узором. Склейте H выходов обратно бок о бок в d столбцов, затем смешайте их ещё одной матрицей Wo.

Цена: те же матрицы, что у одной большой головы, просто нарезанные на куски, поэтому число параметров не меняется. Каждая голова уже, поэтому делит на квадратный корень из d / H.

Слова и символы этого урока
attention
softmax оценок query-key, используемый для усреднения values
голова
одно из H более узких внимании, работающих бок о бок, каждое со своим узором
Твоя очередь

Напишите multi_head(X, Wq, Wk, Wv, Wo, H) (без маски), возвращающую выход и список из H матриц внимания.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.