Autoatención: cada posición pregunta a todas las demás
Por qué importa En un transformer no hay un codificador aparte al que mirar atrás. Cada posición del texto atiende a las demás, así que el vector de cada carácter se actualiza con información del resto de la frase.
Empieza con X, una fila por posición (t filas, d columnas). Tres matrices aprendidas crean a la vez la consulta, la clave y el valor de cada posición:
Q = X @ Wq K = X @ Wk V = X @ Wv
A = softmax(Q @ K.T / sqrt(dk)) # t by t: row i is how much position i attends to each position
out = A @ V
Es la búsqueda suave de la lección 1, hecha para las t consultas a la vez con dos multiplicaciones de matrices, por eso funciona tan bien con rutinas matemáticas rápidas.
Palabras y símbolos de esta lección
- consulta, clave, valor
- lo que busca una posición; lo que ofrece cada posición para emparejarse; lo que entrega
- atención
- softmax de las puntuaciones consulta-clave, usado para promediar los valores
- autoatención
- cada posición atiende a las posiciones del mismo texto
Escribe self_attention(X, Wq, Wk, Wv) que devuelva (out, A).
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.