Conteúdo do curso Lição 152 de 246 · Módulo 13: Atenção e transformers
Módulo 13: Atenção e transformers

Onde os parâmetros estão

Por que isso importa "Um modelo de 7 bilhões de parâmetros" é apenas essa aritmética em um d maior. Ser capaz de contar te diz para onde a memória vai e por que a largura é cara.

Por bloco, as grandes matrizes são Wq, Wk, Wv e Wo (quatro d por d: 4d ao quadrado) e a feed-forward (d por 4d e 4d por d: 8d ao quadrado). Isso é 12 d ao quadrado, mais alguns vetores de comprimento d para as layer norms.

Fora dos blocos: os token embeddings (V por d, também reutilizados como a camada de saída neste modelo), os vetores de posição (ctx por d) e a norm de camada final.

Dobrar d multiplica os parâmetros do bloco por 4, mas não o tempo por 4. As execuções registradas de width-128 levaram cerca de 2.3 vezes mais tempo que width 64 em média (entre 1.1 a 4 vezes de uma execução para outra: o tempo de relógio em uma máquina compartilhada é instável), e width 32 não foi mais rápido que width 64. Em modelos tão pequenos, custos fixos por step (Python, arrays pequenos) são uma grande parte do tempo; o 4x só aparece quando as multiplicações de matriz dominam.

Palavras e símbolos nesta lição
head
ona de H atenções mais estreitas rodam lado a lado, cada uma com seu próprio padrão
vetor de posição
adicionado a cada token para que a atenção possa identificar a ordem
layer norm
normalize cada vetor individualmente: média 0, dispersão 1, depois vezes g mais b
12 d ao quadrado
os parâmetros nas matrizes de um bloco
Sua vez

Escreva count(V, d, layers, ctx) que retorna a contagem exata de parâmetros deste GPT (cada bloco tem 12 d ao quadrado + 4d: duas layer norms com g e b). Deve corresponder aos modelos reais.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.