Programme Leçon 204 sur 246 · Module 19 : Plus grand, et combien mieux (lois d'échelle)
Module 19 : Plus grand, et combien mieux (lois d'échelle)

La meilleure utilisation d'un budget fixe

Pourquoi c'est important Avec un budget de calcul fixe C, un modèle plus grand voit moins de tokens (C = 6 N D). Trop grand, il est affamé ; trop petit, il est plein avant que le budget soit épuisé. En 2022, ce calcul (l'article « Chinchilla ») a montré que la plupart des grands modèles de l'époque étaient bien trop grands pour les données sur lesquelles ils étaient entraînés.

Ajuste les deux effets à la fois :

loss = E + A / N^alpha + B / D^beta

scaling.fit_2d l'ajuste aux 150 exécutions. Puis pour un budget C, chaque largeur N fixe D = C / (6 N), et la formule prédit la perte : choisis la largeur qui a la prédiction la plus basse. scaling.params_of(width) donne les poids d'une largeur.

Où en est le domaine Hoffmann et al. (2022, « Chinchilla ») ont ajusté cette même forme à deux variables à de grands modèles de langage et ont trouvé le partage optimal pour le calcul à environ 20 tokens d'entraînement par poids. Les laboratoires entraînent maintenant souvent bien au-delà (beaucoup plus de tokens pour un modèle plus petit), parce qu'un modèle plus petit coûte moins cher à chaque fois qu'il répond : optimal pour l'entraînement n'est pas optimal pour l'usage. Et quand ils élargissent un modèle, ils remettent à l'échelle ses poids de départ et ses taux d'apprentissage par couche (muP, Yang et al. 2022) pour que le meilleur taux d'apprentissage trouvé sur un petit modèle marche encore sur le gros : le problème qu'a mesuré la leçon « les modèles plus larges veulent des pas plus petits » du module 13.

Mots et symboles de cette leçon
exposant (alpha, beta)
à quelle vitesse la perte baisse avec plus de poids (alpha) ou plus de données (beta)
token
ici, une prédiction : un caractère
FLOP (6 N D)
le coût d'entraînement : environ 6 opérations par poids par token
optimal pour le calcul
le partage d'un budget fixe entre taille du modèle et données qui donne la perte la plus basse
À ton tour

Ajuste la grille dans f. Écris plan(f, budget) qui renvoie la largeur (une puissance de 2 de 2 à 4096) qui a la perte prédite la plus basse. Remplis choice pour des budgets de 1e9, 1e10 et 1e11 FLOP.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.