Programme Leçon 151 sur 246 · Module 13 : Attention et transformers
Module 13 : Attention et transformers

Un bloc de transformer, à la main

Pourquoi c'est important Un GPT, c'est le même bloc empilé. Écris-en un en NumPy simple, exécute-le avec les vrais poids du modèle enregistré, et si tes nombres correspondent à ceux du modèle, tu comprends chaque ligne d'un transformer.

Vois-le

Lance l'animation. Un bloc prend h (t positions par d) et fait deux choses, chacune rajoutée à h (le chemin résiduel du module 6) :

h = h + Wo-mixed multi-head causal attention of layer_norm(h)
h = h + feed-forward of layer_norm(h)        # relu(x @ W1) @ W2, W1 widens d to 4d

Les noms du modèle enregistré : qkv{l} contient Wq, Wk et Wv côte à côte (d par 3d), o{l} est Wo, g1{l}, b1{l} et g2{l}, b2{l} sont les deux normalisations de couche, w1{l}, w2{l} le feed-forward. La tête h utilise les colonnes h fois 16 à (h + 1) fois 16 de chacune de Q, K et V.

Mots et symboles de cette leçon
attention
le softmax des scores requête-clé, utilisé pour faire la moyenne des valeurs
tête
une des H attentions plus étroites exécutées côte à côte, chacune avec son propre motif
normalisation de couche
normaliser chaque vecteur séparément : moyenne 0, dispersion 1, puis fois g plus b
bloc de transformer
h + attention(norm(h)), puis h + feed-forward(norm(h))
À ton tour

Écris block(h, l) pour une séquence (h est t par d). Le modèle complet est assemblé pour toi ; ses logits doivent correspondre à model.logits.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.