Programme Leçon 235 sur 246 · Module 22 : Juger les affirmations
Module 22 : Juger les affirmations

Examen de passage : évaluer une affirmation (IA éteinte)

Pourquoi c'est important Lire des résultats d'un œil critique est une compétence que tu utiliseras sur chaque article, chaque fiche de modèle et chaque tableau de benchmark. Les règles sont simples ; les appliquer à chaque fois, sans qu'on te dise laquelle compte, c'est ça la compétence.

Règles de l'examen : tuteur IA éteint. Écris review(claim). Une affirmation dit « le modèle A bat le modèle B » et vient avec la perte de chaque graine de chaque modèle et la part du jeu de test trouvée dans les données d'entraînement. Dans l'ordre :

  1. Si plus de 10 % du jeu de test étaient dans les données d'entraînement, renvoie "leaked" : aucun score sur ce jeu n'est fiable.
  2. Si l'un des modèles a moins de 2 graines, renvoie "not shown" : la dispersion est inconnue.
  3. Soit diff = mean(B) - mean(A) (positif quand A est meilleur) et se = sqrt(var(A) / nA + var(B) / nB), variances d'échantillon (ddof=1). Renvoie "shown" si diff > 2 se, "contradicted" si diff < -2 se, sinon "not shown".

La vérification fait tourner ta fonction sur six nouvelles affirmations, différentes à chaque vérification, y compris les cas limites : une seule graine, exactement 10 % de recouvrement, des graines exactement d'accord.

Mots et symboles de cette leçon
contamination (fuite)
des éléments de test qui se trouvaient aussi dans les données d'entraînement
graine
le nombre qui fixe les choix aléatoires d'une exécution ; une autre graine donne un autre résultat
À ton tour

Remplis review. Essaie-la sur {'a': [1.689, 1.675, 1.689], 'b': [1.715, 1.721, 1.707], 'test_overlap': 0.0} (les largeurs enregistrées 1024 et 512 à 1.5 million de tokens).

IA désactivée : pas de tuteur, d'indices ou de solution détaillée pour celui-ci. Ta propre réflexion uniquement.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.