Temario Lección 91 de 246 · Módulo 7: Funcionar con datos nuevos
Módulo 7: Funcionar con datos nuevos

Doble descenso

Por qué importa La regla de manual "más parámetros significa más sobreajuste" se rompe con los modelos grandes. Ver por qué cambia cómo piensas en el tamaño del modelo.

Míralo

Reproduce la animación. Ajustamos 40 puntos de entrenamiento usando solo las primeras p de 400 características disponibles, eligiendo entre los ajustes exactos el de pesos más pequeños. A medida que p crece hacia el número de puntos de entrenamiento (40), el error de prueba sube, despacio y luego de golpe, hasta un pico justo donde los dos son iguales. Ahí el modelo tiene justo la libertad necesaria para pasar por cada punto de entrenamiento, y una sola forma de hacerlo, normalmente descontrolada. Pasado el pico, hay muchos ajustes exactos y elegir el de pesos más pequeños es un ajuste suave: el error de prueba vuelve a bajar, y con suficientes características acaba más bajo que el de los modelos pequeños.

Umbral de interpolación: el tamaño del modelo en el que justo puede ajustar exactamente los datos de entrenamiento. El doble descenso tiene ahí su pico.

Predice la curva: predice el número de características con el error de prueba más alto, y si p = 400 gana a p = 5.

Lee los números con honestidad

Este juguete está hecho para mostrar la forma de la curva, no para predecir bien. Su señal está repartida finamente entre las 400 características y solo hay 40 puntos de entrenamiento, así que todos los modelos de aquí son malos: predecir 0 para todo da una mediana de error de prueba de unos 1.01, p = 5 da unos 1.11 y p = 400 unos 0.91. El pico en p = 40 es de unos 36. El segundo descenso es real, pero solo queda un poco por debajo de "no predecir nada".

El pico también tiene una cura que ya conoces. La regularización de pesos (ridge) con una fuerza elegida con datos de validación, en vez del ajuste exacto de pesos más pequeños, mantiene el error cerca de 1.0 en todos los tamaños, p = 40 incluido (unos 1.02). El doble descenso es lo que les pasa a los ajustes exactos; un regularizador ajustado quita el pico.

Palabras y símbolos de esta lección
sobreajuste, subajuste
ajustar el ruido de los datos de entrenamiento; o ser demasiado simple para ajustar el patrón
ridge (alpha)
mínimos cuadrados con regularización de pesos de fuerza alpha
umbral de interpolación
el tamaño del modelo que justo puede ajustar exactamente los datos de entrenamiento
Tu turno

Rellena my_peak y my_400_beats_5. Luego escribe test_error(p): para las semillas 0 a 19, ajusta con np.linalg.pinv(X[:, :p]) @ y, mide el error cuadrático medio de prueba y devuelve la mediana sobre las semillas.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.