Temario Lección 82 de 246 · Módulo 6: Pesos iniciales y normalización
Módulo 6: Pesos iniciales y normalización

La trampa de entrenamiento/evaluación

Por qué importa Un modelo que puntúa bien en las pruebas y mal en el uso, sin ninguna razón visible, es muy a menudo este error. Ha engañado a ingenieros con experiencia.

Un clasificador pequeño tiene una capa BatchNorm. Se entrenó como es debido y sus medias móviles son buenas. Con el conjunto de prueba, puntuado en lotes grandes, va bien. Usado con un ejemplo cada vez, se equivoca demasiado a menudo.

Primero, trabajo de detective: imprime lo que da la capa BatchNorm para dos ejemplos distintos, y pregúntate con qué estadísticas está normalizando. Dedúcelo de lo que imprimes; las tres pistas te llevan hasta ahí si te atascas.

Palabras y símbolos de esta lección
Xavier, LeCun, He
dispersiones iniciales sqrt(2 / (entradas + salidas)) o 1 / sqrt(entradas) para tanh, y sqrt(2 / entradas) para ReLU
BatchNorm (gamma, beta)
normaliza cada característica sobre el lote, y luego reescala con gamma y beta aprendidos
Tu turno

predict_one(x) se usa con un ejemplo cada vez, y su exactitud es mala. Averigua por qué, y luego arregla predict_one para que la exactitud en datos reservados sea de al menos el 90%. Pon en cause una frase corta que nombre la causa.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.