Программа курса Урок 141 из 246 · Модуль 13: Внимание и трансформеры
Модуль 13: Внимание и трансформеры

Внимание - это мягкий поиск

Почему это важно Внимание - единственная новая идея в трансформере. Всё остальное вы уже знаете. Это поиск по словарю, который вместо того, чтобы выбрать одну запись, смешивает их все.

Посмотрите

Запустите анимацию. Словарь Python точно сопоставляет ключ и возвращает одно значение. У внимания есть query q, список keys и список values. Оно оценивает query против каждого key скалярным произведением, превращает оценки в веса через softmax (положительные, в сумме 1) и возвращает взвешенное среднее values.

weights = softmax(K @ q)
output  = weights @ V

Маленькие числа

q = [1, 0]. Keys [2, 0], [0, 2], [0, 0] дают оценки 2, 0, 0. Softmax: e^2 = 7,39, 1 и 1, поэтому веса 0,79, 0,11, 0,11. При values 10, 20, 30 выход равен 0,79 × 10 + 0,11 × 20 + 0,11 × 30 = 13,2: в основном первое значение и немного остальных.

Query, key, value: что я ищу; что каждый элемент предлагает для сопоставления; что каждый элемент отдаёт, если совпал.

Слова и символы этого урока
query, key, value
что ищет позиция; что каждая позиция предлагает для сопоставления; что она отдаёт
attention
softmax оценок query-key, используемый для усреднения values
Твоя очередь

Напишите attend(q, K, V) для одного query: верните (weights, output).

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.