Programme Leçon 203 sur 246 · Module 19 : Plus grand, et combien mieux (lois d'échelle)
Module 19 : Plus grand, et combien mieux (lois d'échelle)

Poids, données ou calcul : qu'est-ce qui le retient ?

Pourquoi c'est important Dépenser plus sur la mauvaise chose n'achète rien. Un modèle affamé de données ne s'améliore pas quand tu le rends plus grand ; un minuscule modèle ne s'améliore pas quand tu le nourris davantage. La grille montre les deux, si tu sais où regarder.

Regarde le long d'une ligne de la grille (une largeur, de plus en plus de données) et le long d'une colonne (une quantité de données, des modèles de plus en plus larges).

Un entraînement est limité par les données quand rendre le modèle plus large aide à peine (ou fait du mal) à cette quantité de données. Il est limité par le modèle quand plus de données aide à peine à cette largeur.

Mots et symboles de cette leçon
token
ici, une prédiction : un caractère
limité par les données, limité par le modèle
quand plus de largeur, ou plus de données, aide à peine
À ton tour

Remplis gain_wider : pour 8 000 tokens et pour 1.5 million de tokens, la baisse de perte de la largeur 256 à la largeur 1024. Remplis gain_more_data : pour la largeur 2 et pour la largeur 1024, la baisse de perte de 512 000 à 1.5 million de tokens. Puis affecte verdict pour deux coins : "data-limited" ou "model-limited".

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.