Programme Leçon 233 sur 246 · Module 22 : Juger les affirmations
Module 22 : Juger les affirmations

Une seule règle derrière chaque vérification « est-ce réel »

Pourquoi c'est important Ce cours a jugé des différences d'au moins quatre façons : un intervalle apparié (module 9), « 0.1 plus haut et plus haut sur chaque graine » (modules 16 et 17), et 2 erreurs types (ce module). C'est toujours la même idée, et la connaître te permet de choisir la bonne, et de savoir quand l'une est trop généreuse.

Chaque règle compare une différence avec son bruit. Deux choix changent la réponse :

  • Apparié ou non. Quand les deux modèles sont notés sur les mêmes éléments (les images de test du module 9), soustrais d'abord élément par élément : la difficulté de chaque élément s'annule, le bruit rétrécit, et de petites différences réelles apparaissent. Pour deux classifieurs sur les mêmes éléments, le décompte le plus propre est simplement celui des éléments où ils ne sont pas d'accord (le test de McNemar). Les graines d'exécutions séparées ne sont pas appariées : compare les deux groupes en entier.
  • La sévérité du seuil. 2 erreurs types suppose que tu connais le bruit. Avec 3 graines de chaque côté, tu l'as estimé à partir de 3 nombres chacun, et cette estimation peut facilement être trop petite. Le t de Student en tient compte : le seuil devient stats.t.ppf(0.975, df) erreurs types, où df (les degrés de liberté) vient de la formule de Welch, df = (va + vb)**2 / (va**2 / (na - 1) + vb**2 / (nb - 1)) avec va = var(a) / na. Avec 3 graines de chaque côté, df vaut de 2 à 4, et le seuil de 2.8 à 4.3, pas 2.

Prédis d'abord : sur la grille enregistrée, le seuil plus strict renverse-t-il un jour un « montré » de la règle des 2 erreurs types ?

Mots et symboles de cette leçon
graine
le nombre qui fixe les choix aléatoires d'une exécution ; une autre graine donne un autre résultat
erreur type
de combien une différence mesurée bougerait si les graines étaient relancées
À ton tour

Affecte à my_guess "yes" ou "no". Écris welch(a, b) qui renvoie (diff, se, df) pour deux listes de pertes par graine (diff = mean(a) - mean(b) : positif quand b, le plus grand modèle, est meilleur). Puis, pour chaque cas de CASES, remplis result[case] avec un dictionnaire : 'ratio' (diff / se), 'cutoff' (le seuil t), 'two_se' et 't' ("shown" ou "not shown" selon chaque règle). Affecte à disagree la liste des cas où les deux règles diffèrent.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.