Programme Leçon 205 sur 246 · Module 19 : Plus grand, et combien mieux (lois d'échelle)
Module 19 : Plus grand, et combien mieux (lois d'échelle)

Prédire un entraînement plus grand, puis le voir

Pourquoi c'est important Un ajustement qui ne fait que décrire les exécutions que tu as est un résumé. Un ajustement qui prédit une exécution que tu n'avais pas est une loi, au moins pour l'instant. Voici le test.

Le cours a entraîné une taille de plus après la fin de la grille : la largeur 2048, environ 375 000 poids, deux fois la plus grande de la grille, sur les 1.5 million de tokens complets, 3 graines. Tu n'as pas vu sa perte.

Utilise la loi de puissance de la leçon 3 (une largeur à la fois, 1.5 million de tokens) pour la prédire. Engage-toi sur le nombre dans le code, puis ouvre le résultat enregistré.

Mots et symboles de cette leçon
loi de puissance
y = A x^-alpha : une ligne droite sur des axes log-log
token
ici, une prédiction : un caractère
À ton tour

Ajuste la grille à 1.5 million de tokens avec scaling.fit_power_law, affecte prediction pour la largeur 2048 (scaling.params_of(2048) poids), puis affecte actual (la moyenne de scaling.recorded_bigger()) et error. Compare avec ton erreur d'intuition de la leçon 1 en affectant better_than_my_gut.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.