Conteúdo do curso Lição 156 de 246 · Módulo 13: Atenção e transformers
Módulo 13: Atenção e transformers

Gerando rápido: o cache de chave-valor

Por que isso importa Chatbots escrevem um token por vez. Feito de forma ingênua, cada novo token recomputa as keys e values de todo o texto até agora. O key-value cache é o motivo de as respostas fluírem rapidamente.

Veja isso

Reproduza a animação. Com a máscara causal, as chaves e valores de posições anteriores nunca mudam quando novos tokens chegam. Então mantenha eles: para cada novo token, calcule apenas seu próprio q, k e v, anexe k e v ao cache, e faça o attend com q sobre as chaves cacheadas.

Trabalho por novo token: a maneira ingênua calcula t chaves e valores para um texto de comprimento t; o cache calcula 1. Em uma resposta de 1.000 tokens, isso é cerca de 500.000 computações de chave contra 1.000.

Palavras e símbolos nesta lição
query, chave, valor
o que uma posição busca; o que cada posição oferece para combinar; o que ela entrega
atenção
softmax das pontuações query-key, usada para tirar a média dos valores
self-attention
cada posição atende às posições do mesmo texto
causal mask
scores acima da diagonal definidos como menos infinito: nenhuma posição vê o futuro
cache de chave-valor
mantenha chaves e valores anteriores para que cada novo token custe um passo
Sua vez

Escreva cached_step(x, cache, Wq, Wk, Wv): x é uma nova linha; anexe sua chave e valor a cache["K"] e cache["V"] (listas), e retorne sua saída de atenção sobre todas as posições cacheadas. Alimentar as linhas de X uma por uma deve reproduzir a auto-atenção causal exatamente. Defina keys_naive e keys_cached: quantos vetores de chave cada método calcula para produzir 1.000 tokens.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.