Temario Lección 156 de 246 · Módulo 13: Atención y transformers
Módulo 13: Atención y transformers

Generar rápido: la caché de claves y valores

Por qué importa Los chatbots escriben un token cada vez. Hecho de forma ingenua, cada token nuevo vuelve a calcular las claves y los valores de todo el texto hasta ese momento. La caché de claves y valores es la razón de que las respuestas salgan rápido.

Míralo

Reproduce la animación. Con la máscara causal, las claves y los valores de las posiciones anteriores nunca cambian cuando llegan tokens nuevos. Así que guárdalos: para cada token nuevo calcula solo su propia q, k y v, añade k y v a la caché, y atiende con q sobre las claves guardadas.

Trabajo por token nuevo: la forma ingenua calcula t claves y valores para un texto de longitud t; la caché calcula 1. En una respuesta de 1,000 tokens son unos 500,000 cálculos de claves frente a 1,000.

Palabras y símbolos de esta lección
consulta, clave, valor
lo que busca una posición; lo que ofrece cada posición para emparejarse; lo que entrega
atención
softmax de las puntuaciones consulta-clave, usado para promediar los valores
autoatención
cada posición atiende a las posiciones del mismo texto
máscara causal
puntuaciones por encima de la diagonal puestas a menos infinito: ninguna posición ve el futuro
caché de claves y valores
guarda las claves y los valores anteriores para que cada token nuevo cueste un paso
Tu turno

Escribe cached_step(x, cache, Wq, Wk, Wv): x es una fila nueva; añade su clave y su valor a cache["K"] y cache["V"] (listas), y devuelve su salida de atención sobre todas las posiciones guardadas. Pasar las filas de X de una en una debe reproducir exactamente la autoatención causal. Pon keys_naive y keys_cached: cuántos vectores de clave calcula cada método para producir 1,000 tokens.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.