Temario Lección 144 de 246 · Módulo 13: Atención y transformers
Módulo 13: Atención y transformers

Autoatención: cada posición pregunta a todas las demás

Por qué importa En un transformer no hay un codificador aparte al que mirar atrás. Cada posición del texto atiende a las demás, así que el vector de cada carácter se actualiza con información del resto de la frase.

Empieza con X, una fila por posición (t filas, d columnas). Tres matrices aprendidas crean a la vez la consulta, la clave y el valor de cada posición:

Q = X @ Wq     K = X @ Wk     V = X @ Wv
A = softmax(Q @ K.T / sqrt(dk))      # t by t: row i is how much position i attends to each position
out = A @ V

Es la búsqueda suave de la lección 1, hecha para las t consultas a la vez con dos multiplicaciones de matrices, por eso funciona tan bien con rutinas matemáticas rápidas.

Palabras y símbolos de esta lección
consulta, clave, valor
lo que busca una posición; lo que ofrece cada posición para emparejarse; lo que entrega
atención
softmax de las puntuaciones consulta-clave, usado para promediar los valores
autoatención
cada posición atiende a las posiciones del mismo texto
Tu turno

Escribe self_attention(X, Wq, Wk, Wv) que devuelva (out, A).

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.