Temario Lección 72 de 246 · Módulo 5: Optimización
Módulo 5: Optimización

Calentamiento y programas de coseno

Por qué importa La mejor tasa de aprendizaje no es la misma durante todo el entrenamiento. Los modelos grandes casi siempre se entrenan con un programa: un comienzo suave, un tramo central largo y alto, y un aterrizaje lento.

Míralo

Reproduce la animación. Calentamiento: la tasa sube en línea recta desde casi cero hasta su pico durante los primeros cientos de pasos, porque al principio del todo los gradientes son grandes y poco fiables. Decaimiento por coseno: luego baja deslizándose por media onda de coseno hasta un suelo pequeño, así que el final del entrenamiento da pasos pequeños y cuidadosos y se asienta en un buen sitio.

if step < warmup:  lr = peak * (step + 1) / warmup
else:              progress = (step - warmup) / (total - warmup)
                   lr = floor + (peak - floor) * 0.5 * (1 + cos(pi * progress))

Resumen Sube, mantén, baja planeando.

Palabras y símbolos de esta lección
calentamiento, coseno
empezar con una tasa de aprendizaje pequeña, y luego bajarla planeando por un coseno
Tu turno

Escribe lr_at(step, total, warmup, peak, floor) siguiendo las fórmulas de arriba (los pasos cuentan desde 0).

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.