Une seule graine est une anecdote
Pourquoi c'est important Entraîner deux fois le même modèle avec des graines aléatoires différentes donne des résultats différents. Une différence entre deux modèles plus petite que cette dispersion n'est pas un résultat, et une seule exécution ne peut pas te dire quelle est la taille de la dispersion.
Une affirmation : « à 8,000 tokens, la largeur 1024 bat la largeur 512 », appuyée par une exécution de chaque (graine 0 : 2.793 contre 2.799). Le cours a enregistré 3 graines de chaque.
Une règle simple pour « A bat B » avec quelques graines de chaque : prends la différence des moyennes, et son erreur type (de combien cette différence bougerait si tu relançais les graines), sqrt(var(A) / nA + var(B) / nB) avec la variance d'échantillon (ddof=1). Dis que c'est montré quand la différence dépasse 2 erreurs types. judge.standard_error(a, b) la calcule.
Prédis d'abord : avec trois graines, la largeur 1024 bat-elle encore la 512 à 8,000 tokens ?
Mots et symboles de cette leçon
- graine
- le nombre qui fixe les choix aléatoires d'une exécution ; une autre graine donne un autre résultat
- erreur type
- de combien une différence mesurée bougerait si les graines étaient relancées
Affecte à my_guess "yes" ou "no". Pour 8,000 et 1,500,000 tokens, remplis diff[tokens] (perte moyenne de la largeur 512 moins perte moyenne de la largeur 1024 : positif veut dire que 1024 est meilleur) et two_se[tokens]. Affecte à verdict[tokens] "shown" ou "not shown".
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.