Clínica: fallos de la tasa de aprendizaje
Por qué importa La tasa de aprendizaje es la causa más común de una mala ejecución. Cada tipo de error deja una marca distinta.
Demasiado alta: los pasos se pasan de largo, la pérdida salta o sube, y la razón de actualización a peso está cerca de 1 o por encima. Demasiado baja: casi nada se mueve, la pérdida se queda cerca de 2.30 y la razón es diminuta. Bajada demasiado pronto: la ejecución aprende un rato, y luego deja de mejorar: a partir de ahí la pérdida solo se bambolea de un lote a otro alrededor de un nivel mediocre (aquí entre más o menos 1.1 y 1.5); el calendario muestra la tasa desplomándose.
Cada caso de abajo es un entrenamiento con un fallo plantado. Para cada uno: gasta sondas para encontrar el fallo, y luego escribe un arreglo como cambios de config. Los fallos de esta lección: lr_too_high, lr_too_low, lr_dropped_early. Cuantas menos sondas, mejor; un buen diagnosticador rara vez necesita más de dos por caso.
| Sonda | Lo que te dice |
|---|---|
loss_curve(c) | La pérdida de entrenamiento cada 50 pasos y la exactitud de validación final. Mira siempre esto primero. |
loss_at_init(c) | La pérdida antes de entrenar. Un modelo nuevo de 10 clases debería estar cerca de ln(10) = 2.30. |
overfit_one_batch(c) | ¿Puede memorizar 32 ejemplos? Una configuración sana llega cerca de 0. |
grad_norms(c) | El tamaño del gradiente por matriz de pesos al principio. Cero significa que nada puede aprender. |
update_ratio(c) | El tamaño del paso de SGD simple en relación con el tamaño de los pesos. Lo sano es de unos 0.001 a 0.1 (una regla práctica para SGD simple; el Módulo 14 muestra por qué Adam es distinto). |
act_stats(c) | Las activaciones ocultas: media, valor más grande, proporción de unidades muertas. |
lr_schedule(c) | La tasa de aprendizaje en los pasos 0, 50, 100 y así sucesivamente. |
batch_labels(c) | Las etiquetas de los primeros lotes. |
overlap(c) | Cuántos ejemplos de validación aparecen también en el entrenamiento. |
Palabras y símbolos de esta lección
- sonda
- una medición rápida de una ejecución, como el tamaño de los gradientes o las unidades muertas
- razón de actualización a peso
- cuánto cambia un paso cada peso, en relación con su tamaño
Rellena diagnosis (de caso a nombre del fallo) y fixes (de caso a un diccionario de cambios de config) para los casos A, B y C. Un arreglo debe quitar el fallo y entrenar hasta al menos un 90% de exactitud de validación.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.