Examen de passage : évaluer une affirmation (IA éteinte)
Pourquoi c'est important Lire des résultats d'un œil critique est une compétence que tu utiliseras sur chaque article, chaque fiche de modèle et chaque tableau de benchmark. Les règles sont simples ; les appliquer à chaque fois, sans qu'on te dise laquelle compte, c'est ça la compétence.
Règles de l'examen : tuteur IA éteint. Écris review(claim). Une affirmation dit « le modèle A bat le modèle B » et vient avec la perte de chaque graine de chaque modèle et la part du jeu de test trouvée dans les données d'entraînement. Dans l'ordre :
- Si plus de 10 % du jeu de test étaient dans les données d'entraînement, renvoie "leaked" : aucun score sur ce jeu n'est fiable.
- Si l'un des modèles a moins de 2 graines, renvoie "not shown" : la dispersion est inconnue.
- Soit diff = mean(B) - mean(A) (positif quand A est meilleur) et se = sqrt(var(A) / nA + var(B) / nB), variances d'échantillon (
ddof=1). Renvoie "shown" si diff > 2 se, "contradicted" si diff < -2 se, sinon "not shown".
La vérification fait tourner ta fonction sur six nouvelles affirmations, différentes à chaque vérification, y compris les cas limites : une seule graine, exactement 10 % de recouvrement, des graines exactement d'accord.
Mots et symboles de cette leçon
- contamination (fuite)
- des éléments de test qui se trouvaient aussi dans les données d'entraînement
- graine
- le nombre qui fixe les choix aléatoires d'une exécution ; une autre graine donne un autre résultat
Remplis review. Essaie-la sur {'a': [1.689, 1.675, 1.689], 'b': [1.715, 1.721, 1.707], 'test_overlap': 0.0} (les largeurs enregistrées 1024 et 512 à 1.5 million de tokens).
IA désactivée : pas de tuteur, d'indices ou de solution détaillée pour celui-ci. Ta propre réflexion uniquement.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.