Conteúdo do curso Lição 142 de 246 · Módulo 13: Atenção e transformers
Módulo 13: Atenção e transformers

Por que dividir pela raiz quadrada de d

Por que isso importa Todo transformer divide seus scores de atenção pela raiz quadrada do tamanho da key. Se você deixar isso de fora, a atenção para de misturar e seus gradientes quase somem. Você vai medir o porquê.

A produto escalar de dois vetores aleatórios de comprimento d soma d produtos. Cada um tem dispersão cerca de 1, então a soma tem dispersão cerca da raiz quadrada de d. O motivo: quando você soma números aleatórios independentes, suas dispersões não se somam, seus quadrados sim (os quadrados são chamados variâncias). d produtos, cada um com variância 1, dão variância d, então a dispersão é a raiz quadrada de d. Para d = 64 isso é 8.

Scores espalhados por mais de 8 ou mais em mais e menos fazem o softmax quase one-hot: um peso perto de 1, o resto perto de 0. Um softmax one-hot tem gradientes minúsculos: a inclinação de cada saída em relação ao seu próprio score é p(1 - p), que é perto de 0 quando p está perto de 0 ou 1 (a lição softmax-gradient do Module 2 deriva isso, e a lição backward-through-attention deste módulo usa isso), então o modelo aprende devagar. Dividir pela raiz quadrada de d traz o espalhamento de volta para cerca de 1, não importa qual seja d.

Predict: conforme d cresce de 4 para 256, o que acontece com o maior peso, com e sem a divisão?

Palavras e símbolos nesta lição
query, chave, valor
o que uma posição busca; o que cada posição oferece para combinar; o que ela entrega
atenção
softmax das pontuações query-key, usada para tirar a média dos valores
Sua vez

Preencha my_guess. Depois escreva top_weight(d, scaled): 2,000 queries aleatórias contra 32 keys aleatórias cada (números normais, seed 0), a média do maior peso da softmax. Preencha measured.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.