Temario Lección 73 de 246 · Módulo 5: Optimización
Módulo 5: Optimización

Encontrar rápido una tasa de aprendizaje, y recortar los picos

Por qué importa Adivinar tasas de aprendizaje hace perder días. Una ejecución corta te dice una buena. Y un solo lote malo puede hacer explotar una ejecución salvo que pongas un tope al paso.

La prueba de rango

Entrena unos cientos de pasos subiendo la tasa de aprendizaje un poco en cada paso, de diminuta a enorme, y apunta la pérdida. Al principio no pasa nada; luego la pérdida baja rápido; luego explota. Una buena tasa de aprendizaje está donde la pérdida bajaba más rápido, un poco por debajo de la explosión. Una regla común: coge la tasa en la que la pérdida fue más baja y divídela por 10.

Recorte

Si el tamaño total del gradiente (su longitud, o norma) supera un límite, reduce todo el gradiente a esa longitud. La dirección se conserva; solo se doma algún paso enorme ocasional.

Norma del gradiente: la longitud de todos los gradientes tomados como un solo vector largo: la raíz cuadrada de la suma de sus cuadrados.

Palabras y símbolos de esta lección
norma del gradiente, recorte
el tamaño total del gradiente, y ponerle un tope
Tu turno

Escribe pick_lr(lrs, losses): la tasa de aprendizaje en la que la pérdida fue más baja, dividida por 10. Y clip(grads, max_norm): grads es una lista de arrays; si su norma combinada supera max_norm, devuélvelos todos escalados para que la norma sea igual a max_norm, y si no devuélvelos sin cambios.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.