Les modèles plus larges veulent des pas plus petits
Pourquoi c'est important Le taux d'apprentissage qui marche pour un petit modèle peut ruiner un plus grand. Les équipes qui entraînent de grands modèles dépensent de l'argent réel pour le découvrir ; tu peux le lire dans des entraînements enregistrés.
L'expérience enregistrée gpt-width-lr a entraîné le minuscule GPT aux largeurs 32, 64 et 128, chacune avec les taux d'apprentissage 0.001, 0.003 et 0.01, pendant 2 000 pas, avec trois graines chacune, et a mesuré la perte sur du texte mis de côté à la fin.
Prédis avant de regarder : quel taux d'apprentissage est le meilleur pour le modèle le plus large, 128 ?
Mots et symboles de cette leçon
- requête, clé, valeur
- ce que cherche une position ; ce que chaque position propose pour la correspondance ; ce qu'elle remet
Affecte à my_guess une valeur parmi 0.001, 0.003 ou 0.01, puis remplis mean_loss : de (width, lr) vers la perte finale moyenne sur données mises de côté sur les trois graines (exp.seeds(d=..., lr=...) donne les trois exécutions ; la perte finale sur données mises de côté de chaque exécution est run.val_loss[-1][1]). Puis remplis best_lr : de la largeur vers le taux d'apprentissage qui a la moyenne la plus basse.
Puis utilise la règle du bruit du module 9 pour dire quels réglages diffèrent vraiment. Avec trois graines chacun, deux moyennes ne diffèrent vraiment que si l'écart dépasse environ 2 × s × sqrt(2/3), où s est la plus grande des dispersions sur les graines des deux réglages (np.std des trois valeurs). Tout ce qui est plus proche est une égalité.
Affecte ties : de la largeur vers la liste des taux d'apprentissage à égalité avec le meilleur de cette largeur (le meilleur compris).
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.