Où sont les paramètres
Pourquoi c'est important « Un modèle de 7 milliards de paramètres », c'est juste cette arithmétique avec un d plus grand. Savoir compter te dit où va la mémoire et pourquoi la largeur coûte cher.
Par bloc, les grandes matrices sont Wq, Wk, Wv et Wo (quatre d par d : 4d au carré) et le feed-forward (d par 4d et 4d par d : 8d au carré). Ça fait 12 d au carré, plus quelques vecteurs de longueur d pour les normalisations de couche.
En dehors des blocs : les embeddings de tokens (V par d, aussi réutilisés comme couche de sortie dans ce modèle), les vecteurs de position (ctx par d) et la normalisation de couche finale.
Doubler d multiplie les paramètres des blocs par 4, mais pas le temps par 4. Les exécutions enregistrées de largeur 128 ont pris en moyenne environ 2.3 fois plus de temps que la largeur 64 (n'importe où entre 1.1 et 4 fois d'une exécution à l'autre : le temps réel sur une machine partagée est bruité), et la largeur 32 n'était pas plus rapide que la largeur 64. Dans des modèles aussi petits, les coûts fixes par pas (Python, petits tableaux) sont une grande partie du temps ; le facteur 4 n'apparaît qu'une fois que les produits matriciels dominent.
Mots et symboles de cette leçon
- tête
- une des H attentions plus étroites exécutées côte à côte, chacune avec son propre motif
- vecteur de position
- ajouté à chaque token pour que l'attention puisse distinguer l'ordre
- normalisation de couche
- normaliser chaque vecteur séparément : moyenne 0, dispersion 1, puis fois g plus b
- 12 d au carré
- les paramètres des matrices d'un bloc
Écris count(V, d, layers, ctx) qui renvoie le nombre exact de paramètres de ce GPT (chaque bloc a 12 d au carré + 4d : deux normalisations de couche avec g et b). Il doit correspondre aux vrais modèles.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.