Programme Leçon 206 sur 246 · Module 19 : Plus grand, et combien mieux (lois d'échelle)
Module 19 : Plus grand, et combien mieux (lois d'échelle)

De vrais sauts, ou un tour de la métrique ?

Pourquoi c'est important Les gros titres disent que les grands modèles gagnent soudain des capacités à une certaine taille : l'« émergence ». Parfois le saut est réel. Souvent, la capacité s'est améliorée régulièrement tout du long et c'est la métrique qui l'a fait paraître soudaine (Schaeffer, Miranda et Koyejo, 2023). Savoir lequel des deux décide si tu peux le prédire.

La grille a noté deux scores sur le même texte mis de côté :

  • Justesse par caractère p : la part des positions où la meilleure supposition du modèle pour le caractère suivant est juste. Elle monte régulièrement avec la taille, de 0.27 à 0.53 à 1.5 million de tokens.
  • Les 5 justes : la part des positions où il écrit les 5 caractères suivants sans aucune erreur. Tout ou rien.

Si chaque caractère était juste avec une probabilité p indépendamment, cinq de suite seraient justes p^5 du temps. Vérifie d'abord ça par rapport à la grille. Puis vois ce que fait l'exposant à une compétence qui s'améliore régulièrement. Ces petits modèles ne vont jamais assez loin pour montrer l'effet complet, donc la deuxième partie est une illustration clairement étiquetée, pas une mesure : une justesse par caractère qui monte en dix pas égaux de 0.5 à 0.95.

Mots et symboles de cette leçon
exposant (alpha, beta)
à quelle vitesse la perte baisse avec plus de poids (alpha) ou plus de données (beta)
token
ici, une prédiction : un caractère
émergence
une capacité qui semble apparaître soudain à une certaine taille ; parfois fabriquée par une métrique tout ou rien
À ton tour

Remplis pairs : pour chaque largeur à 1.5 million de tokens, (p, p^5, les 5 justes mesuré). Puis pour l'illustration, affecte à all10 p^10 pour p_even, et à late_share la part de la hausse totale de all10 qui se produit dans les 3 derniers des 10 pas. Enfin, affecte case.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.