Une seule règle derrière chaque vérification « est-ce réel »
Pourquoi c'est important Ce cours a jugé des différences d'au moins quatre façons : un intervalle apparié (module 9), « 0.1 plus haut et plus haut sur chaque graine » (modules 16 et 17), et 2 erreurs types (ce module). C'est toujours la même idée, et la connaître te permet de choisir la bonne, et de savoir quand l'une est trop généreuse.
Chaque règle compare une différence avec son bruit. Deux choix changent la réponse :
- Apparié ou non. Quand les deux modèles sont notés sur les mêmes éléments (les images de test du module 9), soustrais d'abord élément par élément : la difficulté de chaque élément s'annule, le bruit rétrécit, et de petites différences réelles apparaissent. Pour deux classifieurs sur les mêmes éléments, le décompte le plus propre est simplement celui des éléments où ils ne sont pas d'accord (le test de McNemar). Les graines d'exécutions séparées ne sont pas appariées : compare les deux groupes en entier.
- La sévérité du seuil. 2 erreurs types suppose que tu connais le bruit. Avec 3 graines de chaque côté, tu l'as estimé à partir de 3 nombres chacun, et cette estimation peut facilement être trop petite. Le t de Student en tient compte : le seuil devient
stats.t.ppf(0.975, df)erreurs types, où df (les degrés de liberté) vient de la formule de Welch,df = (va + vb)**2 / (va**2 / (na - 1) + vb**2 / (nb - 1))avecva = var(a) / na. Avec 3 graines de chaque côté, df vaut de 2 à 4, et le seuil de 2.8 à 4.3, pas 2.
Prédis d'abord : sur la grille enregistrée, le seuil plus strict renverse-t-il un jour un « montré » de la règle des 2 erreurs types ?
Mots et symboles de cette leçon
- graine
- le nombre qui fixe les choix aléatoires d'une exécution ; une autre graine donne un autre résultat
- erreur type
- de combien une différence mesurée bougerait si les graines étaient relancées
Affecte à my_guess "yes" ou "no". Écris welch(a, b) qui renvoie (diff, se, df) pour deux listes de pertes par graine (diff = mean(a) - mean(b) : positif quand b, le plus grand modèle, est meilleur). Puis, pour chaque cas de CASES, remplis result[case] avec un dictionnaire : 'ratio' (diff / se), 'cutoff' (le seuil t), 'two_se' et 't' ("shown" ou "not shown" selon chaque règle). Affecte à disagree la liste des cas où les deux règles diffèrent.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.