Ajuster une loi de puissance avec un plancher
Pourquoi c'est important « Plus grand, c'est mieux » ne sert à rien pour planifier. « La perte baisse comme les poids à la puissance -0.5, vers un plancher de 1.6 » te permet de mettre un nombre sur un entraînement que tu n'as pas payé. Obtenir ce nombre, et savoir à quel point tu en es sûr, c'est la compétence.
La forme qui s'ajuste à la plupart des données de montée en échelle :
loss = E + A N^(-alpha)
N est le nombre de poids, alpha l'exposant (à quelle vitesse ça s'améliore), et E le plancher : la perte qu'aucun modèle de cette famille ne peut battre sur ces données. Une partie vient de l'imprévisibilité du texte ; une partie est la limite propre de la famille (ce modèle ne voit jamais que 8 caractères en arrière). Une autre famille, disons une qui lit plus loin en arrière, a un plancher plus bas. Sans le plancher, un ajustement sur de petits modèles surestime ce que gagnent les gros.
Comment l'ajuster : pour chaque plancher candidat E entre 0 et un peu moins que la plus petite perte, prends les logs, log(loss - E) = log A - alpha log N, qui est une ligne droite, et ajuste-la par moindres carrés. Garde le E dont la courbe a la plus petite erreur au carré sur les pertes elles-mêmes.
Barres d'erreur : il y a 3 graines par taille. Réajuste de nombreuses fois, en choisissant à chaque fois une graine au hasard pour chaque taille (un bootstrap), et regarde la dispersion d'alpha. Regarde la scène : les mêmes points, la courbe ajustée avec et sans plancher, et la bande des ajustements bootstrap.
Mots et symboles de cette leçon
- loi de puissance
- y = A x^-alpha : une ligne droite sur des axes log-log
- exposant (alpha, beta)
- à quelle vitesse la perte baisse avec plus de poids (alpha) ou plus de données (beta)
- plancher (E)
- la perte qu'aucun modèle ne peut battre sur ces données
- token
- ici, une prédiction : un caractère
- bootstrap
- réajuster sur des données rééchantillonnées pour voir de combien un nombre ajusté bougerait
Écris fit(N, loss) qui renvoie (E, A, alpha) comme décrit (400 planchers candidats de 0 à 0.999 × la plus petite perte). Ajuste les exécutions à 1.5 million de tokens (une moyenne par largeur) dans main, puis fais 100 réajustements bootstrap et affecte à interval les 5e et 95e centiles d'alpha.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.