Programme Leçon 230 sur 246 · Module 22 : Juger les affirmations
Module 22 : Juger les affirmations

Une meilleure moyenne, la même compétence

Pourquoi c'est important « Notre modèle a une perte plus basse » est l'affirmation la plus courante en modélisation du langage. La perte est une moyenne sur toutes les prédictions, et une moyenne peut s'améliorer sans que la partie qui t'intéresse s'améliore du tout.

Le cours a enregistré deux GPT entraînés de la même façon, de largeur 32 et 64. Le plus large a la perte la plus basse sur données mises de côté. Mais les prédictions ne se ressemblent pas toutes : finir un mot commencé (« gradi » puis « e ») est facile ; choisir la première lettre du mot suivant, c'est choisir quoi dire ensuite, et c'est difficile.

judge.per_position(model, X, Y) donne la perte de chaque prédiction. Fais-en la moyenne sur toutes les positions, sur les premières lettres des mots, et sur le reste de chaque mot.

Prédis d'abord : le modèle plus large devient-il meilleur pour choisir le mot suivant ?

Mots et symboles de cette leçon
graine
le nombre qui fixe les choix aléatoires d'une exécution ; une autre graine donne un autre résultat
À ton tour

Affecte à my_guess "yes" ou "no". Remplis loss[width] avec un dictionnaire de 'all', 'first letter' et 'inside word' pour les largeurs 32 et 64. Affecte à gain_from la sorte de position ("first letter" ou "inside word") d'où vient le gain du modèle plus large.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.