Programme Leçon 201 sur 246 · Module 19 : Plus grand, et combien mieux (lois d'échelle)
Module 19 : Plus grand, et combien mieux (lois d'échelle)

Tes propres petits entraînements, chiffrés

Pourquoi c'est important La montée en échelle est une affirmation sur le coût : de combien mieux par unité de calcul. Donc chaque entraînement a besoin d'une étiquette de prix, et l'étiquette de prix de l'entraînement est étonnamment simple.

Entraîner coûte environ 6 opérations par poids par token : 2 pour la passe avant (une multiplication, une addition pour chaque poids) et environ 4 pour la passe arrière (les gradients pour les entrées et pour les poids). C'est la règle du registre des FLOP que tu utilises depuis la ligne de départ : scaling.flops(weights, tokens).

Ici, tu entraînes trois petits modèles en direct, chacun sur 32 000 tokens du texte du cours, à environ 7 fois d'écart de coût les uns des autres.

Mots et symboles de cette leçon
token
ici, une prédiction : un caractère
FLOP (6 N D)
le coût d'entraînement : environ 6 opérations par poids par token
À ton tour

Entraîne les largeurs 4, 16 et 64 sur 32 000 tokens chacune (scaling.train(model, 32_000) renvoie la perte sur données mises de côté). Remplis runs avec, pour chaque largeur, les poids, les FLOP et la perte. Puis affecte cost_ratio : combien de fois plus l'exécution de largeur 64 a coûté que celle de largeur 4.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.