Temario Lección 105 de 246 · Módulo 9: ¿De verdad es mejor?
Módulo 9: ¿De verdad es mejor?

Semillas y dispersión

Por qué importa Entrena el mismo modelo dos veces con semillas distintas y obtienes puntuaciones distintas. Hasta que no sepas lo grande que es ese bamboleo, no puedes saber si algún cambio ayudó.

Aquí la semilla decide tres cosas: qué imágenes caen en los conjuntos de entrenamiento y de prueba, los pesos iniciales y el orden de los datos. Nada de eso debería importar, pero todo importa, un poco. Así que entrena siempre con varias semillas, y da la media y la dispersión (desviación típica), nunca una sola ejecución.

Una regla aproximada para comparar dos ajustes, cada uno promediado sobre n semillas: la diferencia de las dos medias se bambolea más o menos la dispersión por sqrt(2 / n) (cada media se bambolea dispersión / sqrt(n), y dos bamboleos independientes se suman al cuadrado). Una diferencia más pequeña que más o menos el doble de eso no es una de la que te puedas fiar. Con 5 semillas y una dispersión de 0.02, eso es 2 por 0.02 por sqrt(0.4) = 0.025.

Tu turno

Escribe seed_report(n_seeds) que devuelva (mean, std) de train_and_score con las semillas de 0 a n_seeds - 1. Usa np.std tal cual (divide entre n; también se acepta dividir entre n - 1, ddof=1). Luego pon en wobble la dispersión con 5 semillas.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.