Conteúdo do curso Lição 151 de 246 · Módulo 13: Atenção e transformers
Módulo 13: Atenção e transformers

Um bloco transformer, feito à mão

Por que isso importa Um GPT é o mesmo bloco empilhado. Escreva um com NumPy puro, execute com os pesos reais do modelo gravado e, se seus números baterem com os do próprio modelo, você entende cada linha de um transformer.

Veja isso

Reproduza a animação. Um bloco recebe h (t posições por d) e faz duas coisas, cada uma adicionada de volta em h (o caminho residual do Módulo 6):

h = h + Wo-mixed multi-head causal attention of layer_norm(h)
h = h + feed-forward of layer_norm(h)        # relu(x @ W1) @ W2, W1 widens d to 4d

Os nomes do modelo gravado: qkv{l} contém Wq, Wk e Wv lado a lado (d por 3d), o{l} é Wo, g1{l}, b1{l} e g2{l}, b2{l} são as duas layer norms, w1{l}, w2{l} é o feed-forward. A Head h usa colunas h vezes 16 até (h + 1) vezes 16 de cada Q, K e V.

Palavras e símbolos nesta lição
atenção
softmax das pontuações query-key, usado para tirar a média dos valores
head
ona de H atenções mais estreitas rodam lado a lado, cada uma com seu próprio padrão
layer norm
normalize cada vetor individualmente: média 0, dispersão 1, depois vezes g mais b
bloco transformer
h + attention(norm(h)), depois h + feed-forward(norm(h))
Sua vez

Escreva block(h, l) para uma sequência (h é t por d). O modelo completo é montado para você; seus logits devem corresponder a model.logits.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.