Tes propres petits entraînements, chiffrés
Pourquoi c'est important La montée en échelle est une affirmation sur le coût : de combien mieux par unité de calcul. Donc chaque entraînement a besoin d'une étiquette de prix, et l'étiquette de prix de l'entraînement est étonnamment simple.
Entraîner coûte environ 6 opérations par poids par token : 2 pour la passe avant (une multiplication, une addition pour chaque poids) et environ 4 pour la passe arrière (les gradients pour les entrées et pour les poids). C'est la règle du registre des FLOP que tu utilises depuis la ligne de départ : scaling.flops(weights, tokens).
Ici, tu entraînes trois petits modèles en direct, chacun sur 32 000 tokens du texte du cours, à environ 7 fois d'écart de coût les uns des autres.
Mots et symboles de cette leçon
- token
- ici, une prédiction : un caractère
- FLOP (6 N D)
- le coût d'entraînement : environ 6 opérations par poids par token
Entraîne les largeurs 4, 16 et 64 sur 32 000 tokens chacune (scaling.train(model, 32_000) renvoie la perte sur données mises de côté). Remplis runs avec, pour chaque largeur, les poids, les FLOP et la perte. Puis affecte cost_ratio : combien de fois plus l'exécution de largeur 64 a coûté que celle de largeur 4.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.