Conteúdo do curso Lição 146 de 246 · Módulo 13: Atenção e transformers
Módulo 13: Atenção e transformers

Para trás através da atenção

Por que isso importa Toda biblioteca calcula isso para você, mas são apenas quatro passos que você já conhece. Derivá-lo uma vez é o que faz a atenção ser uma camada que você entende, não uma caixa que você chama.

Para frente, para uma sequência X (t posições por d): Q = X Wq, K = X Wk, V = X Wv, S = Q KT / sqrt(d), A = softmax(S) linha por linha, out = A V. Para trás segue os mesmos passos em ordem inversa, dado G = dL/d(out):

  1. out = Uma V é uma multiplicação de matriz (regra de forma do Módulo 2): dA = G VT e dV = AT G.
  2. A = softmax(S), linha por linha (gradiente softmax do Módulo 2): dS = A * (dA - (dA * A).sum(-1, keepdims=True)).
  3. S = Q KT / sqrt(d): dQ = dS K / sqrt(d) and dK = dST Q / sqrt(d).
  4. Q = X Wq (e o mesmo para K e V): dWq = XT dQ, dWk = XT dK, dWv = XT dV.

Aqui d é a largura das queries e keys (número de colunas de Wq). Nenhuma regra nova aparece em lugar nenhum: o backward pass da attention são duas multiplicações de matriz e um softmax, execute o backward.

Resumo Desfaça os passos em ordem reversa, cada um com a regra que você já tem.

Palavras e símbolos nesta lição
query, chave, valor
o que uma posição busca; o que cada posição oferece para combinar; o que ela entrega
atenção
softmax das pontuações query-key, usado para tirar a média dos valores
Sua vez

Escreva attention_backward(X, Wq, Wk, Wv, G) retornando (dWq, dWk, dWv) para out = softmax(Q KT / sqrt(d)) V sem máscara. O teste oculto verifica cada entrada contra nudging.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.