Onde os parâmetros estão
Por que isso importa "Um modelo de 7 bilhões de parâmetros" é apenas essa aritmética em um d maior. Ser capaz de contar te diz para onde a memória vai e por que a largura é cara.
Por bloco, as grandes matrizes são Wq, Wk, Wv e Wo (quatro d por d: 4d ao quadrado) e a feed-forward (d por 4d e 4d por d: 8d ao quadrado). Isso é 12 d ao quadrado, mais alguns vetores de comprimento d para as layer norms.
Fora dos blocos: os token embeddings (V por d, também reutilizados como a camada de saída neste modelo), os vetores de posição (ctx por d) e a norm de camada final.
Dobrar d multiplica os parâmetros do bloco por 4, mas não o tempo por 4. As execuções registradas de width-128 levaram cerca de 2.3 vezes mais tempo que width 64 em média (entre 1.1 a 4 vezes de uma execução para outra: o tempo de relógio em uma máquina compartilhada é instável), e width 32 não foi mais rápido que width 64. Em modelos tão pequenos, custos fixos por step (Python, arrays pequenos) são uma grande parte do tempo; o 4x só aparece quando as multiplicações de matriz dominam.
Palavras e símbolos nesta lição
- head
- ona de H atenções mais estreitas rodam lado a lado, cada uma com seu próprio padrão
- vetor de posição
- adicionado a cada token para que a atenção possa identificar a ordem
- layer norm
- normalize cada vetor individualmente: média 0, dispersão 1, depois vezes g mais b
- 12 d ao quadrado
- os parâmetros nas matrizes de um bloco
Escreva count(V, d, layers, ctx) que retorna a contagem exata de parâmetros deste GPT (cada bloco tem 12 d ao quadrado + 4d: duas layer norms com g e b). Deve corresponder aos modelos reais.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.