Prédire un entraînement plus grand, puis le voir
Pourquoi c'est important Un ajustement qui ne fait que décrire les exécutions que tu as est un résumé. Un ajustement qui prédit une exécution que tu n'avais pas est une loi, au moins pour l'instant. Voici le test.
Le cours a entraîné une taille de plus après la fin de la grille : la largeur 2048, environ 375 000 poids, deux fois la plus grande de la grille, sur les 1.5 million de tokens complets, 3 graines. Tu n'as pas vu sa perte.
Utilise la loi de puissance de la leçon 3 (une largeur à la fois, 1.5 million de tokens) pour la prédire. Engage-toi sur le nombre dans le code, puis ouvre le résultat enregistré.
Mots et symboles de cette leçon
- loi de puissance
- y = A x^-alpha : une ligne droite sur des axes log-log
- token
- ici, une prédiction : un caractère
Ajuste la grille à 1.5 million de tokens avec scaling.fit_power_law, affecte prediction pour la largeur 2048 (scaling.params_of(2048) poids), puis affecte actual (la moyenne de scaling.recorded_bigger()) et error. Compare avec ton erreur d'intuition de la leçon 1 en affectant better_than_my_gut.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.