Hacia atrás por la atención
Por qué importa Todas las librerías te lo calculan, pero son solo cuatro pasos que ya conoces. Derivarlo una vez es lo que convierte la atención en una capa que entiendes, no en una caja que llamas.
Hacia delante, para una secuencia X (t posiciones por d): Q = X Wq, K = X Wk, V = X Wv, S = Q KT / sqrt(d), A = softmax(S) fila a fila, out = A V. Hacia atrás se recorren los mismos pasos al revés, dado G = dL/d(out):
- out = A V es una multiplicación de matrices (la regla de las formas del Módulo 2): dA = G VT y dV = AT G.
- A = softmax(S), fila a fila (el gradiente del softmax del Módulo 2): dS = A * (dA - (dA * A).sum(-1, keepdims=True)).
- S = Q KT / sqrt(d): dQ = dS K / sqrt(d) y dK = dST Q / sqrt(d).
- Q = X Wq (y lo mismo para K y V): dWq = XT dQ, dWk = XT dK, dWv = XT dV.
Aquí d es la anchura de las consultas y las claves (el número de columnas de Wq). No aparece ninguna regla nueva en ningún sitio: el paso hacia atrás de la atención son dos multiplicaciones de matrices y un softmax, recorridos al revés.
Resumen Deshaz los pasos en orden inverso, cada uno con la regla que ya tienes.
Palabras y símbolos de esta lección
- consulta, clave, valor
- lo que busca una posición; lo que ofrece cada posición para emparejarse; lo que entrega
- atención
- softmax de las puntuaciones consulta-clave, usado para promediar los valores
Escribe attention_backward(X, Wq, Wk, Wv, G) que devuelva (dWq, dWk, dWv) para out = softmax(Q KT / sqrt(d)) V sin máscara. La prueba oculta comprueba cada entrada contra pequeños empujones.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.