Temario Lección 87 de 246 · Módulo 7: Funcionar con datos nuevos
Módulo 7: Funcionar con datos nuevos

Sesgo y varianza, y la regularización de pesos como prior

Por qué importa El sobreajuste aparece como una distancia: un error de entrenamiento muy por debajo del error con datos nuevos. Detrás de cada distancia así hay dos causas medibles, y necesitan curas distintas.

Saca cinco conjuntos de entrenamiento nuevos de la misma fuente y ajusta el mismo tipo de modelo a cada uno. Mira las cinco predicciones en un punto:

  • Si todas coinciden pero todas se equivocan igual: sesgo alto (demasiado simple).
  • Si discrepan muchísimo entre sí: varianza alta (demasiado flexible, persiguiendo el ruido de cada conjunto).

La varianza es cuánto cambia el modelo cuando cambian los datos de entrenamiento. La varianza alta es la causa habitual del sobreajuste, pero las dos palabras no significan lo mismo: el sobreajuste es la distancia que ves, y la varianza es una cosa que puedes medir detrás de ella.

La regularización de pesos como prior

La regularización de pesos suma alpha * (sum of weights squared) a la pérdida. En términos de probabilidad dice, antes de ver los datos, "creo que los pesos pequeños son más probables". Esa creencia lleva los ajustes descontrolados hacia otros tranquilos y baja la varianza, a cambio de un poco de sesgo. Para el ajuste de polinomios tiene una solución exacta llamada regresión ridge: w = solve(A.T A + alpha I, A.T y), donde A guarda las potencias de x.

Prior: lo que crees sobre los pesos antes de ver los datos. La regularización de pesos es un prior que favorece los pesos pequeños.

Palabras y símbolos de esta lección
sobreajuste, subajuste
ajustar el ruido de los datos de entrenamiento; o ser demasiado simple para ajustar el patrón
sesgo, varianza
equivocarse igual cada vez; o cambiar mucho con los datos de entrenamiento
prior
lo que crees sobre los pesos antes de ver los datos
ridge (alpha)
mínimos cuadrados con regularización de pesos de fuerza alpha
Tu turno

Escribe ridge_poly(x, y, deg, alpha) que devuelva los coeficientes (la potencia más baja primero, usando la fórmula de arriba), y spread_at_half(deg, alpha): ajusta cinco conjuntos de entrenamiento (semillas 0 a 4, 20 puntos cada uno, creados con make_set) y devuelve la desviación típica de las cinco predicciones en x = 0.5. Luego pon en high_variance el grado de entre 1, 3 o 12 (alpha 0) que tenga la mayor dispersión.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.