Temario Lección 103 de 246 · Módulo 9: ¿De verdad es mejor?
Módulo 9: ¿De verdad es mejor?

Divisiones y filtraciones

Por qué importa Si cualquier información de los datos de prueba llega al entrenamiento, la puntuación de prueba ya no es una prueba. Es la forma más común en que gente honesta publica números equivocados.

La regla: el conjunto de prueba no debe intervenir en ninguna decisión, incluido el preprocesado. Tres formas en que se cuela:

  • Escalar con todos los datos. Calcular la media y la dispersión con todas las filas, incluidas las de prueba, deja que los valores de prueba moldeen las entradas de entrenamiento. Pequeño, pero real.
  • Elegir características con todas las etiquetas. Elegir las características más correlacionadas con la etiqueta, usando también las etiquetas de prueba, puede hacer que el ruido puro parezca predictivo. Esta puede ser enorme.
  • Duplicados a los dos lados de la división. El mismo ejemplo en los dos conjuntos: el modelo se prueba con algo que memorizó.

Filtración: información de prueba que llega al proceso de entrenamiento y hace que las puntuaciones parezcan mejores de lo que son.

Tu turno

Pon en leaky un diccionario que diga cuáles de los tres procesos tienen filtraciones. Luego escribe pipeline_3_fixed(X, y): la misma idea, eligiendo las 5 características usando solo las primeras 200 filas.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.