Programme Leçon 109 sur 246 · Module 9 : Est-ce vraiment mieux ?
Module 9 : Est-ce vraiment mieux ?

Comparer deux modèles équitablement

Pourquoi c'est important Retour à la leçon 1. Voici la bonne façon de décider.

Les deux modèles ont répondu aux mêmes 100 éléments. Donc ne mets pas des barres d'erreur sur chaque score séparément ; mets-en une sur la différence, en rééchantillonnant les éléments par paires. Chaque rééchantillonnage choisit 100 éléments avec remise et calcule la justesse de B moins celle de A sur ces mêmes éléments. Si l'intervalle à 95 % de cette différence contient 0, les données ne peuvent pas départager les modèles.

Comparaison appariée : comparer deux modèles élément par élément sur le même jeu de test, ce qui annule la difficulté propre à chaque élément.

Comment les 100 images de la leçon 1 ont été choisies, honnêtement : les lecteurs sont simulés, et le cours a choisi un tirage de 100 images sur lequel A se trouve devant B de 4 points. Sur 2 000 tirages aléatoires de 100 images, A menait de 4 points ou plus seulement 8 % du temps ; B est sorti devant dans la moitié d'entre eux, et 14 % étaient des égalités. C'est une vraie forme de chance, choisie pour faire passer le message : un seul jeu de test de 100 peut pointer dans le mauvais sens.

Mots et symboles de cette leçon
bootstrap
rééchantillonner ton jeu de test avec répétitions pour voir de combien un score varie
intervalle à 95 %
les 95 % du milieu des scores rééchantillonnés
comparaison appariée
comparer deux modèles sur les mêmes éléments, élément par élément
À ton tour

Écris paired_diff_ci(a, b, n=2000, seed=0) (l'intervalle de B moins A, en rééchantillonnant les index des éléments comme dans la leçon sur le bootstrap) et verdict(a, b) qui renvoie "A", "B" ou "no clear difference". Exécute-le sur les modèles de la leçon 1.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.