Self-attention: каждая позиция спрашивает каждую другую
Почему это важно В трансформере нет отдельного кодировщика, на который можно оглядываться. Каждая позиция текста обращает внимание на остальные, поэтому вектор каждого символа обновляется информацией из остального предложения.
Начните с X, одна строка на позицию (t строк, d столбцов). Три обучаемые матрицы сразу делают query, key и value каждой позиции:
Q = X @ Wq K = X @ Wk V = X @ Wv
A = softmax(Q @ K.T / sqrt(dk)) # t by t: row i is how much position i attends to each position
out = A @ V
Это мягкий поиск из урока 1, выполненный сразу для всех t queries двумя умножениями матриц, поэтому он так хорошо работает на быстрых математических процедурах.
Слова и символы этого урока
- query, key, value
- что ищет позиция; что каждая позиция предлагает для сопоставления; что она отдаёт
- attention
- softmax оценок query-key, используемый для усреднения values
- self-attention
- каждая позиция обращает внимание на позиции того же текста
Напишите self_attention(X, Wq, Wk, Wv), возвращающую (out, A).
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.