Programme Leçon 229 sur 246 · Module 22 : Juger les affirmations
Module 22 : Juger les affirmations

Un jeu de test que le modèle a déjà vu

Pourquoi c'est important Les grands modèles s'entraînent sur l'essentiel de l'internet public, et les jeux de test publics sont sur internet. Quand des éléments de test fuient dans l'entraînement, les scores montent pour une raison qui n'a rien à voir avec la compétence, et l'article qui les publie peut ne jamais le savoir.

Un jeu de test public de 120 passages pour le GPT du cours. Ses auteurs disent qu'il a été écrit à part. Une partie a en fait été copiée du texte des leçons du cours, sur lequel le GPT s'est entraîné.

Une vérification classique : couper chaque passage en morceaux de 13 caractères et les chercher dans le texte d'entraînement. Un passage écrit à part partage peu de longs morceaux par hasard ; un passage copié les partage tous. judge.overlap(p) donne la part des morceaux d'un passage trouvés dans le texte d'entraînement, et judge.losses(model, passages) la perte du modèle sur chaque passage.

Prédis d'abord : retirer les passages fuités rendra-t-il la perte publiée meilleure ou pire ?

Mots et symboles de cette leçon
contamination (fuite)
des éléments de test qui se trouvaient aussi dans les données d'entraînement
À ton tour

Affecte à my_guess "better" ou "worse". Remplis reported (perte moyenne sur les 120), leaked (une liste de True/False, recouvrement au-dessus de 0.5), clean (perte moyenne sur les passages non fuités) et leaked_loss.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.