La receta: dos comprobaciones antes que nada
Por qué importa La mayoría de las ejecuciones rotas se pueden pillar en un minuto con dos comprobaciones baratas, antes de gastar una hora entrenando.
Quienes tienen experiencia empiezan cada configuración nueva de la misma manera:
- Comprueba la pérdida al principio. Antes de entrenar, un modelo de 10 clases que no sabe nada le da a cada clase más o menos 0.1, así que su pérdida debería ser de unos -ln(0.1) = 2.30. Muy por encima significa que algo está mal escalado. Muy por debajo significa que la respuesta le llega al modelo a través de sus entradas. No todas las filtraciones se ven aquí: cuando las imágenes de validación también están en el conjunto de entrenamiento, la pérdida inicial es normal (la ejecución sana de esta clínica y su caso de filtración empiezan las dos en 2.46), y solo la delata una puntuación de validación demasiado buena.
- Sobreajusta un lote. Entrena con un solo lote pequeño durante unos cientos de pasos. Cualquier modelo y bucle de entrenamiento que funcione puede memorizar 32 ejemplos y llevar la pérdida cerca de cero. Si no puede, el error está en el modelo, la pérdida o los gradientes, y lo has encontrado sin tocar todos los datos.
- Solo entonces, pasa a la ejecución completa.
Esta clínica es un pequeño clasificador de dígitos que puedes romper a propósito. config(**changes) crea una configuración; train(c) la ejecuta.
| Sonda | Lo que te dice |
|---|---|
loss_curve(c) | La pérdida de entrenamiento cada 50 pasos y la exactitud de validación final. Mira siempre esto primero. |
loss_at_init(c) | La pérdida antes de entrenar. Un modelo nuevo de 10 clases debería estar cerca de ln(10) = 2.30. |
overfit_one_batch(c) | ¿Puede memorizar 32 ejemplos? Una configuración sana llega cerca de 0. |
grad_norms(c) | El tamaño del gradiente por matriz de pesos al principio. Cero significa que nada puede aprender. |
update_ratio(c) | El tamaño del paso de SGD simple en relación con el tamaño de los pesos. Lo sano es de unos 0.001 a 0.1 (una regla práctica para SGD simple; el Módulo 14 muestra por qué Adam es distinto). |
act_stats(c) | Las activaciones ocultas: media, valor más grande, proporción de unidades muertas. |
lr_schedule(c) | La tasa de aprendizaje en los pasos 0, 50, 100 y así sucesivamente. |
batch_labels(c) | Las etiquetas de los primeros lotes. |
overlap(c) | Cuántos ejemplos de validación aparecen también en el entrenamiento. |
Palabras y símbolos de esta lección
- sonda
- una medición rápida de una ejecución, como el tamaño de los gradientes o las unidades muertas
- sobreajustar un lote
- comprobar que una configuración puede memorizar unos pocos ejemplos
Escribe sanity(c) que devuelva un diccionario con init_ok (la pérdida al principio a menos de 0.3 de 2.30) y can_overfit (la pérdida de sobreajustar un lote por debajo de 0.1), usando las sondas. Aplícala a la configuración sana y a suspect.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.