Conteúdo do curso Lição 141 de 246 · Módulo 13: Atenção e transformers
Módulo 13: Atenção e transformers

Atenção é uma busca suave

Por que isso importa Attention é a única ideia nova em um transformer. Todo o resto você já conhece. É uma busca em um dictionary que, em vez de escolher uma entrada, mistura todas elas.

Veja isso

Reproduza a animação. Um dicionário Python corresponde a uma chave exatamente e retorna um valor. Attention tem um query q, uma lista de keys e uma lista de values. Ele pontua a query contra cada chave com um produto escalar, transforma as pontuações em pesos com softmax (positivo, somando até 1) e retorna a média ponderada dos valores.

weights = softmax(K @ q)
output  = weights @ V

Números pequenos

q = [1, 0]. As chaves [2, 0], [0, 2], [0, 0] dão scores 2, 0, 0. Softmax: e^2 = 7.39 e 1 e 1, então os pesos são 0.79, 0.11, 0.11. Com valores 10, 20, 30 a saída é 0.79 vezes 10 + 0.11 vezes 20 + 0.11 vezes 30 = 13.2: principalmente o primeiro valor, um pouco dos outros.

Query, key, value: o que estou procurando; o que cada item oferece para ser correspondido; o que cada item entrega se for correspondido.

Palavras e símbolos nesta lição
query, chave, valor
o que uma posição busca; o que cada posição oferece para combinar; o que ela entrega
atenção
softmax das pontuações query-key, usado para tirar a média dos valores
Sua vez

Escreva attend(q, K, V) para uma consulta: retorne (weights, output).

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.