Atenção é uma busca suave
Por que isso importa Attention é a única ideia nova em um transformer. Todo o resto você já conhece. É uma busca em um dictionary que, em vez de escolher uma entrada, mistura todas elas.
Veja isso
Reproduza a animação. Um dicionário Python corresponde a uma chave exatamente e retorna um valor. Attention tem um query q, uma lista de keys e uma lista de values. Ele pontua a query contra cada chave com um produto escalar, transforma as pontuações em pesos com softmax (positivo, somando até 1) e retorna a média ponderada dos valores.
weights = softmax(K @ q)
output = weights @ V
Números pequenos
q = [1, 0]. As chaves [2, 0], [0, 2], [0, 0] dão scores 2, 0, 0. Softmax: e^2 = 7.39 e 1 e 1, então os pesos são 0.79, 0.11, 0.11. Com valores 10, 20, 30 a saída é 0.79 vezes 10 + 0.11 vezes 20 + 0.11 vezes 30 = 13.2: principalmente o primeiro valor, um pouco dos outros.
Query, key, value: o que estou procurando; o que cada item oferece para ser correspondido; o que cada item entrega se for correspondido.
Palavras e símbolos nesta lição
- query, chave, valor
- o que uma posição busca; o que cada posição oferece para combinar; o que ela entrega
- atenção
- softmax das pontuações query-key, usado para tirar a média dos valores
Escreva attend(q, K, V) para uma consulta: retorne (weights, output).
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.