Un bloc de transformer, à la main
Pourquoi c'est important Un GPT, c'est le même bloc empilé. Écris-en un en NumPy simple, exécute-le avec les vrais poids du modèle enregistré, et si tes nombres correspondent à ceux du modèle, tu comprends chaque ligne d'un transformer.
Vois-le
Lance l'animation. Un bloc prend h (t positions par d) et fait deux choses, chacune rajoutée à h (le chemin résiduel du module 6) :
h = h + Wo-mixed multi-head causal attention of layer_norm(h)
h = h + feed-forward of layer_norm(h) # relu(x @ W1) @ W2, W1 widens d to 4d
Les noms du modèle enregistré : qkv{l} contient Wq, Wk et Wv côte à côte (d par 3d), o{l} est Wo, g1{l}, b1{l} et g2{l}, b2{l} sont les deux normalisations de couche, w1{l}, w2{l} le feed-forward. La tête h utilise les colonnes h fois 16 à (h + 1) fois 16 de chacune de Q, K et V.
Mots et symboles de cette leçon
- attention
- le softmax des scores requête-clé, utilisé pour faire la moyenne des valeurs
- tête
- une des H attentions plus étroites exécutées côte à côte, chacune avec son propre motif
- normalisation de couche
- normaliser chaque vecteur séparément : moyenne 0, dispersion 1, puis fois g plus b
- bloc de transformer
- h + attention(norm(h)), puis h + feed-forward(norm(h))
Écris block(h, l) pour une séquence (h est t par d). Le modèle complet est assemblé pour toi ; ses logits doivent correspondre à model.logits.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.