Une meilleure moyenne, la même compétence
Pourquoi c'est important « Notre modèle a une perte plus basse » est l'affirmation la plus courante en modélisation du langage. La perte est une moyenne sur toutes les prédictions, et une moyenne peut s'améliorer sans que la partie qui t'intéresse s'améliore du tout.
Le cours a enregistré deux GPT entraînés de la même façon, de largeur 32 et 64. Le plus large a la perte la plus basse sur données mises de côté. Mais les prédictions ne se ressemblent pas toutes : finir un mot commencé (« gradi » puis « e ») est facile ; choisir la première lettre du mot suivant, c'est choisir quoi dire ensuite, et c'est difficile.
judge.per_position(model, X, Y) donne la perte de chaque prédiction. Fais-en la moyenne sur toutes les positions, sur les premières lettres des mots, et sur le reste de chaque mot.
Prédis d'abord : le modèle plus large devient-il meilleur pour choisir le mot suivant ?
Mots et symboles de cette leçon
- graine
- le nombre qui fixe les choix aléatoires d'une exécution ; une autre graine donne un autre résultat
Affecte à my_guess "yes" ou "no". Remplis loss[width] avec un dictionnaire de 'all', 'first letter' et 'inside word' pour les largeurs 32 et 64. Affecte à gain_from la sorte de position ("first letter" ou "inside word") d'où vient le gain du modèle plus large.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.