Programme Leçon 202 sur 246 · Module 19 : Plus grand, et combien mieux (lois d'échelle)
Module 19 : Plus grand, et combien mieux (lois d'échelle)

Ajuster une loi de puissance avec un plancher

Pourquoi c'est important « Plus grand, c'est mieux » ne sert à rien pour planifier. « La perte baisse comme les poids à la puissance -0.5, vers un plancher de 1.6 » te permet de mettre un nombre sur un entraînement que tu n'as pas payé. Obtenir ce nombre, et savoir à quel point tu en es sûr, c'est la compétence.

La forme qui s'ajuste à la plupart des données de montée en échelle :

loss = E + A N^(-alpha)

N est le nombre de poids, alpha l'exposant (à quelle vitesse ça s'améliore), et E le plancher : la perte qu'aucun modèle de cette famille ne peut battre sur ces données. Une partie vient de l'imprévisibilité du texte ; une partie est la limite propre de la famille (ce modèle ne voit jamais que 8 caractères en arrière). Une autre famille, disons une qui lit plus loin en arrière, a un plancher plus bas. Sans le plancher, un ajustement sur de petits modèles surestime ce que gagnent les gros.

Comment l'ajuster : pour chaque plancher candidat E entre 0 et un peu moins que la plus petite perte, prends les logs, log(loss - E) = log A - alpha log N, qui est une ligne droite, et ajuste-la par moindres carrés. Garde le E dont la courbe a la plus petite erreur au carré sur les pertes elles-mêmes.

Barres d'erreur : il y a 3 graines par taille. Réajuste de nombreuses fois, en choisissant à chaque fois une graine au hasard pour chaque taille (un bootstrap), et regarde la dispersion d'alpha. Regarde la scène : les mêmes points, la courbe ajustée avec et sans plancher, et la bande des ajustements bootstrap.

Mots et symboles de cette leçon
loi de puissance
y = A x^-alpha : une ligne droite sur des axes log-log
exposant (alpha, beta)
à quelle vitesse la perte baisse avec plus de poids (alpha) ou plus de données (beta)
plancher (E)
la perte qu'aucun modèle ne peut battre sur ces données
token
ici, une prédiction : un caractère
bootstrap
réajuster sur des données rééchantillonnées pour voir de combien un nombre ajusté bougerait
À ton tour

Écris fit(N, loss) qui renvoie (E, A, alpha) comme décrit (400 planchers candidats de 0 à 0.999 × la plus petite perte). Ajuste les exécutions à 1.5 million de tokens (une moyenne par largeur) dans main, puis fais 100 réajustements bootstrap et affecte à interval les 5e et 95e centiles d'alpha.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.