Внимание - это мягкий поиск
Почему это важно Внимание - единственная новая идея в трансформере. Всё остальное вы уже знаете. Это поиск по словарю, который вместо того, чтобы выбрать одну запись, смешивает их все.
Посмотрите
Запустите анимацию. Словарь Python точно сопоставляет ключ и возвращает одно значение. У внимания есть query q, список keys и список values. Оно оценивает query против каждого key скалярным произведением, превращает оценки в веса через softmax (положительные, в сумме 1) и возвращает взвешенное среднее values.
weights = softmax(K @ q)
output = weights @ V
Маленькие числа
q = [1, 0]. Keys [2, 0], [0, 2], [0, 0] дают оценки 2, 0, 0. Softmax: e^2 = 7,39, 1 и 1, поэтому веса 0,79, 0,11, 0,11. При values 10, 20, 30 выход равен 0,79 × 10 + 0,11 × 20 + 0,11 × 30 = 13,2: в основном первое значение и немного остальных.
Query, key, value: что я ищу; что каждый элемент предлагает для сопоставления; что каждый элемент отдаёт, если совпал.
Слова и символы этого урока
- query, key, value
- что ищет позиция; что каждая позиция предлагает для сопоставления; что она отдаёт
- attention
- softmax оценок query-key, используемый для усреднения values
Напишите attend(q, K, V) для одного query: верните (weights, output).
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.