Encontrar rápido una tasa de aprendizaje, y recortar los picos
Por qué importa Adivinar tasas de aprendizaje hace perder días. Una ejecución corta te dice una buena. Y un solo lote malo puede hacer explotar una ejecución salvo que pongas un tope al paso.
La prueba de rango
Entrena unos cientos de pasos subiendo la tasa de aprendizaje un poco en cada paso, de diminuta a enorme, y apunta la pérdida. Al principio no pasa nada; luego la pérdida baja rápido; luego explota. Una buena tasa de aprendizaje está donde la pérdida bajaba más rápido, un poco por debajo de la explosión. Una regla común: coge la tasa en la que la pérdida fue más baja y divídela por 10.
Recorte
Si el tamaño total del gradiente (su longitud, o norma) supera un límite, reduce todo el gradiente a esa longitud. La dirección se conserva; solo se doma algún paso enorme ocasional.
Norma del gradiente: la longitud de todos los gradientes tomados como un solo vector largo: la raíz cuadrada de la suma de sus cuadrados.
Palabras y símbolos de esta lección
- norma del gradiente, recorte
- el tamaño total del gradiente, y ponerle un tope
Escribe pick_lr(lrs, losses): la tasa de aprendizaje en la que la pérdida fue más baja, dividida por 10. Y clip(grads, max_norm): grads es una lista de arrays; si su norma combinada supera max_norm, devuélvelos todos escalados para que la norma sea igual a max_norm, y si no devuélvelos sin cambios.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.