Temario Lección 229 de 246 · Módulo 22: Juzgar afirmaciones
Módulo 22: Juzgar afirmaciones

Un conjunto de prueba que el modelo ya ha visto

Por qué importa Los modelos grandes se entrenan con la mayor parte de internet público, y los conjuntos de prueba públicos están en internet. Cuando elementos de prueba se filtran al entrenamiento, las puntuaciones suben por una razón que no tiene nada que ver con la habilidad, y puede que el artículo que las publica nunca lo sepa.

Un conjunto de prueba público de 120 pasajes para el GPT del curso. Sus autores dicen que se escribió por separado. En realidad, parte de él se copió del texto de las lecciones del curso, que es con lo que se entrenó el GPT.

Una comprobación estándar: corta cada pasaje en trozos de 13 caracteres y búscalos en el texto de entrenamiento. Un pasaje escrito por separado comparte pocos trozos largos por casualidad; uno copiado los comparte todos. judge.overlap(p) da la proporción de los trozos de un pasaje que aparecen en el texto de entrenamiento, y judge.losses(model, passages) la pérdida del modelo en cada pasaje.

Predice primero: ¿quitar los pasajes filtrados hará que la pérdida publicada sea mejor o peor?

Palabras y símbolos de esta lección
contaminación (filtración)
elementos de prueba que también estaban en los datos de entrenamiento
Tu turno

Pon en my_guess "better" (mejor) o "worse" (peor). Rellena reported (la pérdida media sobre los 120), leaked (una lista de True/False, solapamiento por encima de 0.5), clean (la pérdida media sobre los pasajes que no están filtrados) y leaked_loss.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.