Clínica: fallos del inicio y de la escala
Por qué importa Fallos del Módulo 6 en la vida real: paran el aprendizaje antes de que empiece.
Unidades muertas: cada unidad oculta está apagada para cada entrada, así que ningún gradiente llega a la primera capa y la pérdida nunca sale de 2.30. Entradas sin escalar: los píxeles llegan de 0 a 16 en vez de 0 a 1, las activaciones son enormes, la pérdida inicial está muy por encima de 2.30, y los primeros pasos son violentos. (La trampa de entrenamiento/evaluación de BatchNorm del Módulo 6 también encaja aquí; ya la conociste).
Cada caso de abajo es un entrenamiento con un fallo plantado. Para cada uno: gasta sondas para encontrar el fallo, y luego escribe un arreglo como cambios de config. Los fallos de esta lección: dead_units, unscaled_inputs, plus one fault from earlier. Cuantas menos sondas, mejor; un buen diagnosticador rara vez necesita más de dos por caso.
| Sonda | Lo que te dice |
|---|---|
loss_curve(c) | La pérdida de entrenamiento cada 50 pasos y la exactitud de validación final. Mira siempre esto primero. |
loss_at_init(c) | La pérdida antes de entrenar. Un modelo nuevo de 10 clases debería estar cerca de ln(10) = 2.30. |
overfit_one_batch(c) | ¿Puede memorizar 32 ejemplos? Una configuración sana llega cerca de 0. |
grad_norms(c) | El tamaño del gradiente por matriz de pesos al principio. Cero significa que nada puede aprender. |
update_ratio(c) | El tamaño del paso de SGD simple en relación con el tamaño de los pesos. Lo sano es de unos 0.001 a 0.1 (una regla práctica para SGD simple; el Módulo 14 muestra por qué Adam es distinto). |
act_stats(c) | Las activaciones ocultas: media, valor más grande, proporción de unidades muertas. |
lr_schedule(c) | La tasa de aprendizaje en los pasos 0, 50, 100 y así sucesivamente. |
batch_labels(c) | Las etiquetas de los primeros lotes. |
overlap(c) | Cuántos ejemplos de validación aparecen también en el entrenamiento. |
Palabras y símbolos de esta lección
- sonda
- una medición rápida de una ejecución, como el tamaño de los gradientes o las unidades muertas
Rellena diagnosis (de caso a nombre del fallo) y fixes (de caso a un diccionario de cambios de config) para los casos A, B y C. Un arreglo debe quitar el fallo y entrenar hasta al menos un 90% de exactitud de validación.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.