Para trás através da atenção
Por que isso importa Toda biblioteca calcula isso para você, mas são apenas quatro passos que você já conhece. Derivá-lo uma vez é o que faz a atenção ser uma camada que você entende, não uma caixa que você chama.
Para frente, para uma sequência X (t posições por d): Q = X Wq, K = X Wk, V = X Wv, S = Q KT / sqrt(d), A = softmax(S) linha por linha, out = A V. Para trás segue os mesmos passos em ordem inversa, dado G = dL/d(out):
- out = Uma V é uma multiplicação de matriz (regra de forma do Módulo 2): dA = G VT e dV = AT G.
- A = softmax(S), linha por linha (gradiente softmax do Módulo 2): dS = A * (dA - (dA * A).sum(-1, keepdims=True)).
- S = Q KT / sqrt(d): dQ = dS K / sqrt(d) and dK = dST Q / sqrt(d).
- Q = X Wq (e o mesmo para K e V): dWq = XT dQ, dWk = XT dK, dWv = XT dV.
Aqui d é a largura das queries e keys (número de colunas de Wq). Nenhuma regra nova aparece em lugar nenhum: o backward pass da attention são duas multiplicações de matriz e um softmax, execute o backward.
Resumo Desfaça os passos em ordem reversa, cada um com a regra que você já tem.
Palavras e símbolos nesta lição
- query, chave, valor
- o que uma posição busca; o que cada posição oferece para combinar; o que ela entrega
- atenção
- softmax das pontuações query-key, usado para tirar a média dos valores
Escreva attention_backward(X, Wq, Wk, Wv, G) retornando (dWq, dWk, dWv) para out = softmax(Q KT / sqrt(d)) V sem máscara. O teste oculto verifica cada entrada contra nudging.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.