Programme Leçon 154 sur 246 · Module 13 : Attention et transformers
Module 13 : Attention et transformers

Les modèles plus larges veulent des pas plus petits

Pourquoi c'est important Le taux d'apprentissage qui marche pour un petit modèle peut ruiner un plus grand. Les équipes qui entraînent de grands modèles dépensent de l'argent réel pour le découvrir ; tu peux le lire dans des entraînements enregistrés.

L'expérience enregistrée gpt-width-lr a entraîné le minuscule GPT aux largeurs 32, 64 et 128, chacune avec les taux d'apprentissage 0.001, 0.003 et 0.01, pendant 2 000 pas, avec trois graines chacune, et a mesuré la perte sur du texte mis de côté à la fin.

Prédis avant de regarder : quel taux d'apprentissage est le meilleur pour le modèle le plus large, 128 ?

Mots et symboles de cette leçon
requête, clé, valeur
ce que cherche une position ; ce que chaque position propose pour la correspondance ; ce qu'elle remet
À ton tour

Affecte à my_guess une valeur parmi 0.001, 0.003 ou 0.01, puis remplis mean_loss : de (width, lr) vers la perte finale moyenne sur données mises de côté sur les trois graines (exp.seeds(d=..., lr=...) donne les trois exécutions ; la perte finale sur données mises de côté de chaque exécution est run.val_loss[-1][1]). Puis remplis best_lr : de la largeur vers le taux d'apprentissage qui a la moyenne la plus basse.

Puis utilise la règle du bruit du module 9 pour dire quels réglages diffèrent vraiment. Avec trois graines chacun, deux moyennes ne diffèrent vraiment que si l'écart dépasse environ 2 × s × sqrt(2/3), où s est la plus grande des dispersions sur les graines des deux réglages (np.std des trois valeurs). Tout ce qui est plus proche est une égalité.

Affecte ties : de la largeur vers la liste des taux d'apprentissage à égalité avec le meilleur de cette largeur (le meilleur compris).

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.