Programme Leçon 232 sur 246 · Module 22 : Juger les affirmations
Module 22 : Juger les affirmations

Une seule graine est une anecdote

Pourquoi c'est important Entraîner deux fois le même modèle avec des graines aléatoires différentes donne des résultats différents. Une différence entre deux modèles plus petite que cette dispersion n'est pas un résultat, et une seule exécution ne peut pas te dire quelle est la taille de la dispersion.

Une affirmation : « à 8,000 tokens, la largeur 1024 bat la largeur 512 », appuyée par une exécution de chaque (graine 0 : 2.793 contre 2.799). Le cours a enregistré 3 graines de chaque.

Une règle simple pour « A bat B » avec quelques graines de chaque : prends la différence des moyennes, et son erreur type (de combien cette différence bougerait si tu relançais les graines), sqrt(var(A) / nA + var(B) / nB) avec la variance d'échantillon (ddof=1). Dis que c'est montré quand la différence dépasse 2 erreurs types. judge.standard_error(a, b) la calcule.

Prédis d'abord : avec trois graines, la largeur 1024 bat-elle encore la 512 à 8,000 tokens ?

Mots et symboles de cette leçon
graine
le nombre qui fixe les choix aléatoires d'une exécution ; une autre graine donne un autre résultat
erreur type
de combien une différence mesurée bougerait si les graines étaient relancées
À ton tour

Affecte à my_guess "yes" ou "no". Pour 8,000 et 1,500,000 tokens, remplis diff[tokens] (perte moyenne de la largeur 512 moins perte moyenne de la largeur 1024 : positif veut dire que 1024 est meilleur) et two_se[tokens]. Affecte à verdict[tokens] "shown" ou "not shown".

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.