Un jeu de test que le modèle a déjà vu
Pourquoi c'est important Les grands modèles s'entraînent sur l'essentiel de l'internet public, et les jeux de test publics sont sur internet. Quand des éléments de test fuient dans l'entraînement, les scores montent pour une raison qui n'a rien à voir avec la compétence, et l'article qui les publie peut ne jamais le savoir.
Un jeu de test public de 120 passages pour le GPT du cours. Ses auteurs disent qu'il a été écrit à part. Une partie a en fait été copiée du texte des leçons du cours, sur lequel le GPT s'est entraîné.
Une vérification classique : couper chaque passage en morceaux de 13 caractères et les chercher dans le texte d'entraînement. Un passage écrit à part partage peu de longs morceaux par hasard ; un passage copié les partage tous. judge.overlap(p) donne la part des morceaux d'un passage trouvés dans le texte d'entraînement, et judge.losses(model, passages) la perte du modèle sur chaque passage.
Prédis d'abord : retirer les passages fuités rendra-t-il la perte publiée meilleure ou pire ?
Mots et symboles de cette leçon
- contamination (fuite)
- des éléments de test qui se trouvaient aussi dans les données d'entraînement
Affecte à my_guess "better" ou "worse". Remplis reported (perte moyenne sur les 120), leaked (une liste de True/False, recouvrement au-dessus de 0.5), clean (perte moyenne sur les passages non fuités) et leaked_loss.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.