Generar rápido: la caché de claves y valores
Por qué importa Los chatbots escriben un token cada vez. Hecho de forma ingenua, cada token nuevo vuelve a calcular las claves y los valores de todo el texto hasta ese momento. La caché de claves y valores es la razón de que las respuestas salgan rápido.
Míralo
Reproduce la animación. Con la máscara causal, las claves y los valores de las posiciones anteriores nunca cambian cuando llegan tokens nuevos. Así que guárdalos: para cada token nuevo calcula solo su propia q, k y v, añade k y v a la caché, y atiende con q sobre las claves guardadas.
Trabajo por token nuevo: la forma ingenua calcula t claves y valores para un texto de longitud t; la caché calcula 1. En una respuesta de 1,000 tokens son unos 500,000 cálculos de claves frente a 1,000.
Palabras y símbolos de esta lección
- consulta, clave, valor
- lo que busca una posición; lo que ofrece cada posición para emparejarse; lo que entrega
- atención
- softmax de las puntuaciones consulta-clave, usado para promediar los valores
- autoatención
- cada posición atiende a las posiciones del mismo texto
- máscara causal
- puntuaciones por encima de la diagonal puestas a menos infinito: ninguna posición ve el futuro
- caché de claves y valores
- guarda las claves y los valores anteriores para que cada token nuevo cueste un paso
Escribe cached_step(x, cache, Wq, Wk, Wv): x es una fila nueva; añade su clave y su valor a cache["K"] y cache["V"] (listas), y devuelve su salida de atención sobre todas las posiciones guardadas. Pasar las filas de X de una en una debe reproducir exactamente la autoatención causal. Pon keys_naive y keys_cached: cuántos vectores de clave calcula cada método para producir 1,000 tokens.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.