Programme Leçon 200 sur 246 · Module 19 : Plus grand, et combien mieux (lois d'échelle)
Module 19 : Plus grand, et combien mieux (lois d'échelle)

Devine un modèle plus grand

Pourquoi c'est important Entraîner un grand modèle coûte des mois et des millions. Avant que quiconque dépense ça, on prédit à quel point il sera bon à partir de petits entraînements. Le fait surprenant derrière le boom de l'IA, c'est que la prédiction marche en général. D'abord, vois à quel point ta propre intuition est bonne.

Les modèles de ce module sont de petits modèles de caractères : ils lisent 8 caractères et prédisent le suivant. Un seul nombre fixe leur taille, la largeur de la couche cachée. Le cours en a entraîné 150 (10 largeurs, 5 quantités de données, 3 graines chacun) sur 1.5 million de caractères de son propre texte de leçons, et a mesuré la perte de chacun sur 100 000 caractères qu'il n'avait jamais vus.

Un modèle de largeur 128 (24 401 poids) entraîné sur 1.5 million de tokens atteint une perte sur données mises de côté d'environ 1.86. Un token, ici, c'est une prédiction : un caractère.

Avant de regarder : un modèle de largeur 1024 a 7.7 fois plus de poids. Entraîné sur les mêmes données, quelle perte atteindra-t-il ? Pour l'échelle : prédire chaque caractère comme également probable donne 4.42, et les meilleurs de ces modèles descendent sous 2.

Mots et symboles de cette leçon
token
ici, une prédiction : un caractère
À ton tour

Affecte à my_guess la perte sur données mises de côté que tu prédis pour la largeur 1024 à 1.5 million de tokens. Puis affecte actual d'après les exécutions enregistrées (la moyenne sur les 3 graines), et error à ton écart (actual moins ta supposition).

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.