Um bloco transformer, feito à mão
Por que isso importa Um GPT é o mesmo bloco empilhado. Escreva um com NumPy puro, execute com os pesos reais do modelo gravado e, se seus números baterem com os do próprio modelo, você entende cada linha de um transformer.
Veja isso
Reproduza a animação. Um bloco recebe h (t posições por d) e faz duas coisas, cada uma adicionada de volta em h (o caminho residual do Módulo 6):
h = h + Wo-mixed multi-head causal attention of layer_norm(h)
h = h + feed-forward of layer_norm(h) # relu(x @ W1) @ W2, W1 widens d to 4d
Os nomes do modelo gravado: qkv{l} contém Wq, Wk e Wv lado a lado (d por 3d), o{l} é Wo, g1{l}, b1{l} e g2{l}, b2{l} são as duas layer norms, w1{l}, w2{l} é o feed-forward. A Head h usa colunas h vezes 16 até (h + 1) vezes 16 de cada Q, K e V.
Palavras e símbolos nesta lição
- atenção
- softmax das pontuações query-key, usado para tirar a média dos valores
- head
- ona de H atenções mais estreitas rodam lado a lado, cada uma com seu próprio padrão
- layer norm
- normalize cada vetor individualmente: média 0, dispersão 1, depois vezes g mais b
- bloco transformer
- h + attention(norm(h)), depois h + feed-forward(norm(h))
Escreva block(h, l) para uma sequência (h é t por d). O modelo completo é montado para você; seus logits devem corresponder a model.logits.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.