De vrais sauts, ou un tour de la métrique ?
Pourquoi c'est important Les gros titres disent que les grands modèles gagnent soudain des capacités à une certaine taille : l'« émergence ». Parfois le saut est réel. Souvent, la capacité s'est améliorée régulièrement tout du long et c'est la métrique qui l'a fait paraître soudaine (Schaeffer, Miranda et Koyejo, 2023). Savoir lequel des deux décide si tu peux le prédire.
La grille a noté deux scores sur le même texte mis de côté :
- Justesse par caractère p : la part des positions où la meilleure supposition du modèle pour le caractère suivant est juste. Elle monte régulièrement avec la taille, de 0.27 à 0.53 à 1.5 million de tokens.
- Les 5 justes : la part des positions où il écrit les 5 caractères suivants sans aucune erreur. Tout ou rien.
Si chaque caractère était juste avec une probabilité p indépendamment, cinq de suite seraient justes p^5 du temps. Vérifie d'abord ça par rapport à la grille. Puis vois ce que fait l'exposant à une compétence qui s'améliore régulièrement. Ces petits modèles ne vont jamais assez loin pour montrer l'effet complet, donc la deuxième partie est une illustration clairement étiquetée, pas une mesure : une justesse par caractère qui monte en dix pas égaux de 0.5 à 0.95.
Mots et symboles de cette leçon
- exposant (alpha, beta)
- à quelle vitesse la perte baisse avec plus de poids (alpha) ou plus de données (beta)
- token
- ici, une prédiction : un caractère
- émergence
- une capacité qui semble apparaître soudain à une certaine taille ; parfois fabriquée par une métrique tout ou rien
Remplis pairs : pour chaque largeur à 1.5 million de tokens, (p, p^5, les 5 justes mesuré). Puis pour l'illustration, affecte à all10 p^10 pour p_even, et à late_share la part de la hausse totale de all10 qui se produit dans les 3 derniers des 10 pas. Enfin, affecte case.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.