Devine un modèle plus grand
Pourquoi c'est important Entraîner un grand modèle coûte des mois et des millions. Avant que quiconque dépense ça, on prédit à quel point il sera bon à partir de petits entraînements. Le fait surprenant derrière le boom de l'IA, c'est que la prédiction marche en général. D'abord, vois à quel point ta propre intuition est bonne.
Les modèles de ce module sont de petits modèles de caractères : ils lisent 8 caractères et prédisent le suivant. Un seul nombre fixe leur taille, la largeur de la couche cachée. Le cours en a entraîné 150 (10 largeurs, 5 quantités de données, 3 graines chacun) sur 1.5 million de caractères de son propre texte de leçons, et a mesuré la perte de chacun sur 100 000 caractères qu'il n'avait jamais vus.
Un modèle de largeur 128 (24 401 poids) entraîné sur 1.5 million de tokens atteint une perte sur données mises de côté d'environ 1.86. Un token, ici, c'est une prédiction : un caractère.
Avant de regarder : un modèle de largeur 1024 a 7.7 fois plus de poids. Entraîné sur les mêmes données, quelle perte atteindra-t-il ? Pour l'échelle : prédire chaque caractère comme également probable donne 4.42, et les meilleurs de ces modèles descendent sous 2.
Mots et symboles de cette leçon
- token
- ici, une prédiction : un caractère
Affecte à my_guess la perte sur données mises de côté que tu prédis pour la largeur 1024 à 1.5 million de tokens. Puis affecte actual d'après les exécutions enregistrées (la moyenne sur les 3 graines), et error à ton écart (actual moins ta supposition).
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.