Temario Lección 99 de 246 · Módulo 8: Clínica de ejecuciones I
Módulo 8: Clínica de ejecuciones I

Clínica: fallos del inicio y de la escala

Por qué importa Fallos del Módulo 6 en la vida real: paran el aprendizaje antes de que empiece.

Unidades muertas: cada unidad oculta está apagada para cada entrada, así que ningún gradiente llega a la primera capa y la pérdida nunca sale de 2.30. Entradas sin escalar: los píxeles llegan de 0 a 16 en vez de 0 a 1, las activaciones son enormes, la pérdida inicial está muy por encima de 2.30, y los primeros pasos son violentos. (La trampa de entrenamiento/evaluación de BatchNorm del Módulo 6 también encaja aquí; ya la conociste).

Cada caso de abajo es un entrenamiento con un fallo plantado. Para cada uno: gasta sondas para encontrar el fallo, y luego escribe un arreglo como cambios de config. Los fallos de esta lección: dead_units, unscaled_inputs, plus one fault from earlier. Cuantas menos sondas, mejor; un buen diagnosticador rara vez necesita más de dos por caso.

SondaLo que te dice
loss_curve(c)La pérdida de entrenamiento cada 50 pasos y la exactitud de validación final. Mira siempre esto primero.
loss_at_init(c)La pérdida antes de entrenar. Un modelo nuevo de 10 clases debería estar cerca de ln(10) = 2.30.
overfit_one_batch(c)¿Puede memorizar 32 ejemplos? Una configuración sana llega cerca de 0.
grad_norms(c)El tamaño del gradiente por matriz de pesos al principio. Cero significa que nada puede aprender.
update_ratio(c)El tamaño del paso de SGD simple en relación con el tamaño de los pesos. Lo sano es de unos 0.001 a 0.1 (una regla práctica para SGD simple; el Módulo 14 muestra por qué Adam es distinto).
act_stats(c)Las activaciones ocultas: media, valor más grande, proporción de unidades muertas.
lr_schedule(c)La tasa de aprendizaje en los pasos 0, 50, 100 y así sucesivamente.
batch_labels(c)Las etiquetas de los primeros lotes.
overlap(c)Cuántos ejemplos de validación aparecen también en el entrenamiento.
Palabras y símbolos de esta lección
sonda
una medición rápida de una ejecución, como el tamaño de los gradientes o las unidades muertas
Tu turno

Rellena diagnosis (de caso a nombre del fallo) y fixes (de caso a un diccionario de cambios de config) para los casos A, B y C. Un arreglo debe quitar el fallo y entrenar hasta al menos un 90% de exactitud de validación.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.