Programme Leçon 152 sur 246 · Module 13 : Attention et transformers
Module 13 : Attention et transformers

Où sont les paramètres

Pourquoi c'est important « Un modèle de 7 milliards de paramètres », c'est juste cette arithmétique avec un d plus grand. Savoir compter te dit où va la mémoire et pourquoi la largeur coûte cher.

Par bloc, les grandes matrices sont Wq, Wk, Wv et Wo (quatre d par d : 4d au carré) et le feed-forward (d par 4d et 4d par d : 8d au carré). Ça fait 12 d au carré, plus quelques vecteurs de longueur d pour les normalisations de couche.

En dehors des blocs : les embeddings de tokens (V par d, aussi réutilisés comme couche de sortie dans ce modèle), les vecteurs de position (ctx par d) et la normalisation de couche finale.

Doubler d multiplie les paramètres des blocs par 4, mais pas le temps par 4. Les exécutions enregistrées de largeur 128 ont pris en moyenne environ 2.3 fois plus de temps que la largeur 64 (n'importe où entre 1.1 et 4 fois d'une exécution à l'autre : le temps réel sur une machine partagée est bruité), et la largeur 32 n'était pas plus rapide que la largeur 64. Dans des modèles aussi petits, les coûts fixes par pas (Python, petits tableaux) sont une grande partie du temps ; le facteur 4 n'apparaît qu'une fois que les produits matriciels dominent.

Mots et symboles de cette leçon
tête
une des H attentions plus étroites exécutées côte à côte, chacune avec son propre motif
vecteur de position
ajouté à chaque token pour que l'attention puisse distinguer l'ordre
normalisation de couche
normaliser chaque vecteur séparément : moyenne 0, dispersion 1, puis fois g plus b
12 d au carré
les paramètres des matrices d'un bloc
À ton tour

Écris count(V, d, layers, ctx) qui renvoie le nombre exact de paramètres de ce GPT (chaque bloc a 12 d au carré + 4d : deux normalisations de couche avec g et b). Il doit correspondre aux vrais modèles.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.