Temario Lección 94 de 246 · Módulo 8: Clínica de ejecuciones I
Módulo 8: Clínica de ejecuciones I

La receta: dos comprobaciones antes que nada

Por qué importa La mayoría de las ejecuciones rotas se pueden pillar en un minuto con dos comprobaciones baratas, antes de gastar una hora entrenando.

Quienes tienen experiencia empiezan cada configuración nueva de la misma manera:

  1. Comprueba la pérdida al principio. Antes de entrenar, un modelo de 10 clases que no sabe nada le da a cada clase más o menos 0.1, así que su pérdida debería ser de unos -ln(0.1) = 2.30. Muy por encima significa que algo está mal escalado. Muy por debajo significa que la respuesta le llega al modelo a través de sus entradas. No todas las filtraciones se ven aquí: cuando las imágenes de validación también están en el conjunto de entrenamiento, la pérdida inicial es normal (la ejecución sana de esta clínica y su caso de filtración empiezan las dos en 2.46), y solo la delata una puntuación de validación demasiado buena.
  2. Sobreajusta un lote. Entrena con un solo lote pequeño durante unos cientos de pasos. Cualquier modelo y bucle de entrenamiento que funcione puede memorizar 32 ejemplos y llevar la pérdida cerca de cero. Si no puede, el error está en el modelo, la pérdida o los gradientes, y lo has encontrado sin tocar todos los datos.
  3. Solo entonces, pasa a la ejecución completa.

Esta clínica es un pequeño clasificador de dígitos que puedes romper a propósito. config(**changes) crea una configuración; train(c) la ejecuta.

SondaLo que te dice
loss_curve(c)La pérdida de entrenamiento cada 50 pasos y la exactitud de validación final. Mira siempre esto primero.
loss_at_init(c)La pérdida antes de entrenar. Un modelo nuevo de 10 clases debería estar cerca de ln(10) = 2.30.
overfit_one_batch(c)¿Puede memorizar 32 ejemplos? Una configuración sana llega cerca de 0.
grad_norms(c)El tamaño del gradiente por matriz de pesos al principio. Cero significa que nada puede aprender.
update_ratio(c)El tamaño del paso de SGD simple en relación con el tamaño de los pesos. Lo sano es de unos 0.001 a 0.1 (una regla práctica para SGD simple; el Módulo 14 muestra por qué Adam es distinto).
act_stats(c)Las activaciones ocultas: media, valor más grande, proporción de unidades muertas.
lr_schedule(c)La tasa de aprendizaje en los pasos 0, 50, 100 y así sucesivamente.
batch_labels(c)Las etiquetas de los primeros lotes.
overlap(c)Cuántos ejemplos de validación aparecen también en el entrenamiento.
Palabras y símbolos de esta lección
sonda
una medición rápida de una ejecución, como el tamaño de los gradientes o las unidades muertas
sobreajustar un lote
comprobar que una configuración puede memorizar unos pocos ejemplos
Tu turno

Escribe sanity(c) que devuelva un diccionario con init_ok (la pérdida al principio a menos de 0.3 de 2.30) y can_overfit (la pérdida de sobreajustar un lote por debajo de 0.1), usando las sondas. Aplícala a la configuración sana y a suspect.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.