Обратный проход через внимание
Почему это важно Любая библиотека вычисляет это за вас, но это всего четыре уже знакомых вам шага. Выведя это один раз, вы превращаете внимание в слой, который понимаете, а не в коробку, которую вызываете.
Прямой проход для одной последовательности X (t позиций на d): Q = X Wq, K = X Wk, V = X Wv, S = Q KT / sqrt(d), A = softmax(S) построчно, out = A V. Обратный проход идёт через те же шаги в обратном порядке, если дано G = dL/d(out):
- out = A V - это умножение матриц (правило форм из модуля 2): dA = G VT и dV = AT G.
- A = softmax(S), построчно (градиент softmax из модуля 2): dS = A * (dA - (dA * A).sum(-1, keepdims=True)).
- S = Q KT / sqrt(d): dQ = dS K / sqrt(d) и dK = dST Q / sqrt(d).
- Q = X Wq (и так же для K и V): dWq = XT dQ, dWk = XT dK, dWv = XT dV.
Здесь d - ширина queries и keys (число столбцов Wq). Нигде не появляется нового правила: обратный проход внимания - это два умножения матриц и softmax, пройденные назад.
Итоги Отменяйте шаги в обратном порядке, каждый по правилу, которое у вас уже есть.
Слова и символы этого урока
- query, key, value
- что ищет позиция; что каждая позиция предлагает для сопоставления; что она отдаёт
- attention
- softmax оценок query-key, используемый для усреднения values
Напишите attention_backward(X, Wq, Wk, Wv, G), возвращающую (dWq, dWk, dWv) для out = softmax(Q KT / sqrt(d)) V без маски. Скрытый тест сверяет каждый элемент с подталкиванием.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.