Un conjunto de prueba que el modelo ya ha visto
Por qué importa Los modelos grandes se entrenan con la mayor parte de internet público, y los conjuntos de prueba públicos están en internet. Cuando elementos de prueba se filtran al entrenamiento, las puntuaciones suben por una razón que no tiene nada que ver con la habilidad, y puede que el artículo que las publica nunca lo sepa.
Un conjunto de prueba público de 120 pasajes para el GPT del curso. Sus autores dicen que se escribió por separado. En realidad, parte de él se copió del texto de las lecciones del curso, que es con lo que se entrenó el GPT.
Una comprobación estándar: corta cada pasaje en trozos de 13 caracteres y búscalos en el texto de entrenamiento. Un pasaje escrito por separado comparte pocos trozos largos por casualidad; uno copiado los comparte todos. judge.overlap(p) da la proporción de los trozos de un pasaje que aparecen en el texto de entrenamiento, y judge.losses(model, passages) la pérdida del modelo en cada pasaje.
Predice primero: ¿quitar los pasajes filtrados hará que la pérdida publicada sea mejor o peor?
Palabras y símbolos de esta lección
- contaminación (filtración)
- elementos de prueba que también estaban en los datos de entrenamiento
Pon en my_guess "better" (mejor) o "worse" (peor). Rellena reported (la pérdida media sobre los 120), leaked (una lista de True/False, solapamiento por encima de 0.5), clean (la pérdida media sobre los pasajes que no están filtrados) y leaked_loss.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.