Posições como ondas
Por que isso importa Vetores de posição aprendidos param no texto mais longo visto no treinamento. O transformer original usou ondas fixas em vez disso, que dão a cada posição um padrão único e fazem "3 passos de distância" parecer igual onde quer que aconteça.
Para a posição p e o índice do par i (0, 1, 2, ...), com d números no total:
PE[p, 2i] = sin(p / 10000^(2i/d))
PE[p, 2i + 1] = cos(p / 10000^(2i/d))
O primeiro par é uma onda rápida, os pares seguintes são cada vez mais lentos, como os ponteiros de um relógio: segundos, minutos, horas. Juntos eles dão a cada posição uma leitura distinta.
A propriedade útil: o produto escalar PE[p] . PE[p + k] depende apenas de k, a distância, não de p. (Cada par contribui com o cosseno da diferença do ângulo, pela identidade sin a sin b + cos a cos b = cos(a - b).)
Onde o campo está agoraA maioria dos modelos de linguagem abertos hoje não usa nem ondas adicionadas à entrada nem vetores de posição aprendidos. RoPE (rotary position embedding, Su et al. 2021) rotaciona cada vetor query e key por um ângulo que cresce com sua posição, após as projeções de query e key, para que a pontuação entre duas posições dependa apenas de quão distantes elas estão. ALiBi (Press et al. 2021) não adiciona nenhum vetor de posição: ele subtrai uma penalidade de cada pontuação de atenção que cresce com a distância. Ambos funcionam melhor para textos mais longos que os de treinamento. As ondas aqui são a escolha original do transformer e as mais fáceis de ver.
Palavras e símbolos nesta lição
- query, chave, valor
- o que uma posição busca; o que cada posição oferece para combinar; o que ela entrega
- atenção
- softmax das pontuações query-key, usado para tirar a média dos valores
- vetor de posição
- adicionado a cada token para que a atenção possa identificar a ordem
Escreva positions(n, d) retornando um array n por d. Depois defina same_distance para a maior diferença entre PE[p] . PE[p + 5] sobre p = 0 a 50 (deve ser essencialmente 0).
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.