La trampa de entrenamiento/evaluación
Por qué importa Un modelo que puntúa bien en las pruebas y mal en el uso, sin ninguna razón visible, es muy a menudo este error. Ha engañado a ingenieros con experiencia.
Un clasificador pequeño tiene una capa BatchNorm. Se entrenó como es debido y sus medias móviles son buenas. Con el conjunto de prueba, puntuado en lotes grandes, va bien. Usado con un ejemplo cada vez, se equivoca demasiado a menudo.
Primero, trabajo de detective: imprime lo que da la capa BatchNorm para dos ejemplos distintos, y pregúntate con qué estadísticas está normalizando. Dedúcelo de lo que imprimes; las tres pistas te llevan hasta ahí si te atascas.
Palabras y símbolos de esta lección
- Xavier, LeCun, He
- dispersiones iniciales sqrt(2 / (entradas + salidas)) o 1 / sqrt(entradas) para tanh, y sqrt(2 / entradas) para ReLU
- BatchNorm (gamma, beta)
- normaliza cada característica sobre el lote, y luego reescala con gamma y beta aprendidos
predict_one(x) se usa con un ejemplo cada vez, y su exactitud es mala. Averigua por qué, y luego arregla predict_one para que la exactitud en datos reservados sea de al menos el 90%. Pon en cause una frase corta que nombre la causa.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.