Por que dividir pela raiz quadrada de d
Por que isso importa Todo transformer divide seus scores de atenção pela raiz quadrada do tamanho da key. Se você deixar isso de fora, a atenção para de misturar e seus gradientes quase somem. Você vai medir o porquê.
A produto escalar de dois vetores aleatórios de comprimento d soma d produtos. Cada um tem dispersão cerca de 1, então a soma tem dispersão cerca da raiz quadrada de d. O motivo: quando você soma números aleatórios independentes, suas dispersões não se somam, seus quadrados sim (os quadrados são chamados variâncias). d produtos, cada um com variância 1, dão variância d, então a dispersão é a raiz quadrada de d. Para d = 64 isso é 8.
Scores espalhados por mais de 8 ou mais em mais e menos fazem o softmax quase one-hot: um peso perto de 1, o resto perto de 0. Um softmax one-hot tem gradientes minúsculos: a inclinação de cada saída em relação ao seu próprio score é p(1 - p), que é perto de 0 quando p está perto de 0 ou 1 (a lição softmax-gradient do Module 2 deriva isso, e a lição backward-through-attention deste módulo usa isso), então o modelo aprende devagar. Dividir pela raiz quadrada de d traz o espalhamento de volta para cerca de 1, não importa qual seja d.
Predict: conforme d cresce de 4 para 256, o que acontece com o maior peso, com e sem a divisão?
Palavras e símbolos nesta lição
- query, chave, valor
- o que uma posição busca; o que cada posição oferece para combinar; o que ela entrega
- atenção
- softmax das pontuações query-key, usada para tirar a média dos valores
Preencha my_guess. Depois escreva top_weight(d, scaled): 2,000 queries aleatórias contra 32 keys aleatórias cada (números normais, seed 0), a média do maior peso da softmax. Preencha measured.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.