Conteúdo do curso Lição 149 de 246 · Módulo 13: Atenção e transformers
Módulo 13: Atenção e transformers

Posições como ondas

Por que isso importa Vetores de posição aprendidos param no texto mais longo visto no treinamento. O transformer original usou ondas fixas em vez disso, que dão a cada posição um padrão único e fazem "3 passos de distância" parecer igual onde quer que aconteça.

Para a posição p e o índice do par i (0, 1, 2, ...), com d números no total:

PE[p, 2i]     = sin(p / 10000^(2i/d))
PE[p, 2i + 1] = cos(p / 10000^(2i/d))

O primeiro par é uma onda rápida, os pares seguintes são cada vez mais lentos, como os ponteiros de um relógio: segundos, minutos, horas. Juntos eles dão a cada posição uma leitura distinta.

A propriedade útil: o produto escalar PE[p] . PE[p + k] depende apenas de k, a distância, não de p. (Cada par contribui com o cosseno da diferença do ângulo, pela identidade sin a sin b + cos a cos b = cos(a - b).)

Onde o campo está agoraA maioria dos modelos de linguagem abertos hoje não usa nem ondas adicionadas à entrada nem vetores de posição aprendidos. RoPE (rotary position embedding, Su et al. 2021) rotaciona cada vetor query e key por um ângulo que cresce com sua posição, após as projeções de query e key, para que a pontuação entre duas posições dependa apenas de quão distantes elas estão. ALiBi (Press et al. 2021) não adiciona nenhum vetor de posição: ele subtrai uma penalidade de cada pontuação de atenção que cresce com a distância. Ambos funcionam melhor para textos mais longos que os de treinamento. As ondas aqui são a escolha original do transformer e as mais fáceis de ver.

Palavras e símbolos nesta lição
query, chave, valor
o que uma posição busca; o que cada posição oferece para combinar; o que ela entrega
atenção
softmax das pontuações query-key, usado para tirar a média dos valores
vetor de posição
adicionado a cada token para que a atenção possa identificar a ordem
Sua vez

Escreva positions(n, d) retornando um array n por d. Depois defina same_distance para a maior diferença entre PE[p] . PE[p + 5] sobre p = 0 a 50 (deve ser essencialmente 0).

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.