Una bola pesada (momentum)
Por qué importa El momentum es el arreglo más útil para los valles estirados, y casi todos los optimizadores que usarás lo tienen.
Míralo primero
Reproduce la animación. El descenso de gradiente simple hace zigzag de un lado a otro del valle. Una bola pesada conserva parte de su velocidad anterior: los zigzags se anulan (izquierda, derecha, izquierda) mientras el tirón constante cuesta abajo a lo largo del valle se suma paso tras paso. Así que acelera por el fondo del valle.
Ponle nombre
v = beta * v + grad # velocity: mostly the old velocity, plus the new push
p = p - lr * v
Con beta = 0.9 la bola recuerda más o menos los últimos 10 empujones.
Por qué aquí el descenso simple es lento
En este cuenco la dirección empinada es 50 veces más empinada que la suave. La tasa de aprendizaje del descenso simple tiene un tope que pone la dirección empinada: por encima de 2/50 = 0.04 los pasos de un lado a otro del valle crecen y explota. Justo por debajo del tope, en 0.039, hace zigzag de lado a lado (cada paso se pasa y cae en el otro lado) mientras avanza muy despacio a lo largo, porque 0.039 es una tasa diminuta para la dirección suave. El momentum puede usar una tasa más grande y mantener su velocidad a lo largo del valle: también se pasa en la dirección empinada, pero esos vaivenes se anulan mientras los empujones a lo largo del fondo se suman.
(Con lr = 1/50 = 0.02 exactamente no hay ningún zigzag: un paso cae en el fondo del valle, y el resto es el avance lento. Pruébalo.)
(La escena dibuja un valle más suave, 25 veces más empinado de lado a lado, con beta 0.5, para que sus caminos quepan en la pantalla; los números de esta lección son para el valle de 50 veces que programas tú.)
Momentum: una suma acumulada de los gradientes recientes que suaviza los zigzags y gana velocidad en las direcciones constantes.
Palabras y símbolos de esta lección
- momentum (beta)
- conservar parte de la velocidad del último paso
Escribe steps_plain(lr) y steps_momentum(lr, beta): empezando en (1, 1) en el cuenco estirado, cuenta los pasos hasta que la distancia al fondo esté por debajo de 0.001 (máximo 20,000). Da a cada uno sus propios buenos ajustes: el descenso simple con lr 0.039, justo por debajo de su tope, y el momentum con lr 0.06 y beta 0.6. El momentum debe necesitar como mucho un tercio de los pasos.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.