La meilleure utilisation d'un budget fixe
Pourquoi c'est important Avec un budget de calcul fixe C, un modèle plus grand voit moins de tokens (C = 6 N D). Trop grand, il est affamé ; trop petit, il est plein avant que le budget soit épuisé. En 2022, ce calcul (l'article « Chinchilla ») a montré que la plupart des grands modèles de l'époque étaient bien trop grands pour les données sur lesquelles ils étaient entraînés.
Ajuste les deux effets à la fois :
loss = E + A / N^alpha + B / D^beta
scaling.fit_2d l'ajuste aux 150 exécutions. Puis pour un budget C, chaque largeur N fixe D = C / (6 N), et la formule prédit la perte : choisis la largeur qui a la prédiction la plus basse. scaling.params_of(width) donne les poids d'une largeur.
Où en est le domaine Hoffmann et al. (2022, « Chinchilla ») ont ajusté cette même forme à deux variables à de grands modèles de langage et ont trouvé le partage optimal pour le calcul à environ 20 tokens d'entraînement par poids. Les laboratoires entraînent maintenant souvent bien au-delà (beaucoup plus de tokens pour un modèle plus petit), parce qu'un modèle plus petit coûte moins cher à chaque fois qu'il répond : optimal pour l'entraînement n'est pas optimal pour l'usage. Et quand ils élargissent un modèle, ils remettent à l'échelle ses poids de départ et ses taux d'apprentissage par couche (muP, Yang et al. 2022) pour que le meilleur taux d'apprentissage trouvé sur un petit modèle marche encore sur le gros : le problème qu'a mesuré la leçon « les modèles plus larges veulent des pas plus petits » du module 13.
Mots et symboles de cette leçon
- exposant (alpha, beta)
- à quelle vitesse la perte baisse avec plus de poids (alpha) ou plus de données (beta)
- token
- ici, une prédiction : un caractère
- FLOP (6 N D)
- le coût d'entraînement : environ 6 opérations par poids par token
- optimal pour le calcul
- le partage d'un budget fixe entre taille du modèle et données qui donne la perte la plus basse
Ajuste la grille dans f. Écris plan(f, budget) qui renvoie la largeur (une puissance de 2 de 2 à 4096) qui a la perte prédite la plus basse. Remplis choice pour des budgets de 1e9, 1e10 et 1e11 FLOP.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.