La atención es una búsqueda suave
Por qué importa La atención es la única idea nueva de un transformer. Todo lo demás ya lo conoces. Es una búsqueda en un diccionario que, en vez de elegir una entrada, las mezcla todas.
Míralo
Reproduce la animación. Un diccionario de Python busca una clave exacta y devuelve un valor. La atención tiene una consulta q, una lista de claves y una lista de valores. Puntúa la consulta contra cada clave con un producto escalar, convierte las puntuaciones en pesos con softmax (positivos, que suman 1) y devuelve la media ponderada de los valores.
weights = softmax(K @ q)
output = weights @ V
Números diminutos
q = [1, 0]. Las claves [2, 0], [0, 2], [0, 0] dan las puntuaciones 2, 0, 0. Softmax: e^2 = 7.39 y 1 y 1, así que los pesos son 0.79, 0.11, 0.11. Con los valores 10, 20, 30 la salida es 0.79 por 10 + 0.11 por 20 + 0.11 por 30 = 13.2: sobre todo el primer valor, y un poco de los demás.
Consulta, clave, valor: lo que busco; lo que ofrece cada elemento para que lo emparejen; lo que entrega cada elemento si lo emparejan.
Palabras y símbolos de esta lección
- consulta, clave, valor
- lo que busca una posición; lo que ofrece cada posición para emparejarse; lo que entrega
- atención
- softmax de las puntuaciones consulta-clave, usado para promediar los valores
Escribe attend(q, K, V) para una consulta: devuelve (weights, output).
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.