Gerando rápido: o cache de chave-valor
Por que isso importa Chatbots escrevem um token por vez. Feito de forma ingênua, cada novo token recomputa as keys e values de todo o texto até agora. O key-value cache é o motivo de as respostas fluírem rapidamente.
Veja isso
Reproduza a animação. Com a máscara causal, as chaves e valores de posições anteriores nunca mudam quando novos tokens chegam. Então mantenha eles: para cada novo token, calcule apenas seu próprio q, k e v, anexe k e v ao cache, e faça o attend com q sobre as chaves cacheadas.
Trabalho por novo token: a maneira ingênua calcula t chaves e valores para um texto de comprimento t; o cache calcula 1. Em uma resposta de 1.000 tokens, isso é cerca de 500.000 computações de chave contra 1.000.
Palavras e símbolos nesta lição
- query, chave, valor
- o que uma posição busca; o que cada posição oferece para combinar; o que ela entrega
- atenção
- softmax das pontuações query-key, usada para tirar a média dos valores
- self-attention
- cada posição atende às posições do mesmo texto
- causal mask
- scores acima da diagonal definidos como menos infinito: nenhuma posição vê o futuro
- cache de chave-valor
- mantenha chaves e valores anteriores para que cada novo token custe um passo
Escreva cached_step(x, cache, Wq, Wk, Wv): x é uma nova linha; anexe sua chave e valor a cache["K"] e cache["V"] (listas), e retorne sua saída de atenção sobre todas as posições cacheadas. Alimentar as linhas de X uma por uma deve reproduzir a auto-atenção causal exatamente. Defina keys_naive e keys_cached: quantos vetores de chave cada método calcula para produzir 1.000 tokens.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.