Calentamiento y programas de coseno
Por qué importa La mejor tasa de aprendizaje no es la misma durante todo el entrenamiento. Los modelos grandes casi siempre se entrenan con un programa: un comienzo suave, un tramo central largo y alto, y un aterrizaje lento.
Míralo
Reproduce la animación. Calentamiento: la tasa sube en línea recta desde casi cero hasta su pico durante los primeros cientos de pasos, porque al principio del todo los gradientes son grandes y poco fiables. Decaimiento por coseno: luego baja deslizándose por media onda de coseno hasta un suelo pequeño, así que el final del entrenamiento da pasos pequeños y cuidadosos y se asienta en un buen sitio.
if step < warmup: lr = peak * (step + 1) / warmup
else: progress = (step - warmup) / (total - warmup)
lr = floor + (peak - floor) * 0.5 * (1 + cos(pi * progress))
Resumen Sube, mantén, baja planeando.
Palabras y símbolos de esta lección
- calentamiento, coseno
- empezar con una tasa de aprendizaje pequeña, y luego bajarla planeando por un coseno
Escribe lr_at(step, total, warmup, peak, floor) siguiendo las fórmulas de arriba (los pasos cuentan desde 0).
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.