Temario Lección 97 de 246 · Módulo 8: Clínica de ejecuciones I
Módulo 8: Clínica de ejecuciones I

Clínica: fallos de los datos

Por qué importa "El error siempre está en el modelo" es falso. Los fallos de los datos son comunes y se esconden bien, porque el propio bucle de entrenamiento está bien.

Filtración: el conjunto de validación contiene ejemplos de entrenamiento, así que la exactitud de validación parece maravillosa y no significa nada. Sin barajar: los lotes llegan una clase cada vez, el modelo persigue la última clase que vio, y la exactitud con datos mezclados es mala. Etiquetas equivocadas: muchas etiquetas de entrenamiento son aleatorias, así que la pérdida de entrenamiento no puede bajar mucho aunque el modelo pueda memorizar un lote.

Cada caso de abajo es un entrenamiento con un fallo plantado. Para cada uno: gasta sondas para encontrar el fallo, y luego escribe un arreglo como cambios de config. Los fallos de esta lección: leak, no_shuffle, noisy_labels. Cuantas menos sondas, mejor; un buen diagnosticador rara vez necesita más de dos por caso.

SondaLo que te dice
loss_curve(c)La pérdida de entrenamiento cada 50 pasos y la exactitud de validación final. Mira siempre esto primero.
loss_at_init(c)La pérdida antes de entrenar. Un modelo nuevo de 10 clases debería estar cerca de ln(10) = 2.30.
overfit_one_batch(c)¿Puede memorizar 32 ejemplos? Una configuración sana llega cerca de 0.
grad_norms(c)El tamaño del gradiente por matriz de pesos al principio. Cero significa que nada puede aprender.
update_ratio(c)El tamaño del paso de SGD simple en relación con el tamaño de los pesos. Lo sano es de unos 0.001 a 0.1 (una regla práctica para SGD simple; el Módulo 14 muestra por qué Adam es distinto).
act_stats(c)Las activaciones ocultas: media, valor más grande, proporción de unidades muertas.
lr_schedule(c)La tasa de aprendizaje en los pasos 0, 50, 100 y así sucesivamente.
batch_labels(c)Las etiquetas de los primeros lotes.
overlap(c)Cuántos ejemplos de validación aparecen también en el entrenamiento.
Palabras y símbolos de esta lección
sonda
una medición rápida de una ejecución, como el tamaño de los gradientes o las unidades muertas
filtración
información de prueba o de validación que llega al entrenamiento
Tu turno

Rellena diagnosis (de caso a nombre del fallo) y fixes (de caso a un diccionario de cambios de config) para los casos A, B y C. Un arreglo debe quitar el fallo y entrenar hasta al menos un 90% de exactitud de validación.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.