Une boule lourde (momentum)
Pourquoi c'est important Le momentum est la correction la plus utile pour les vallées étirées, et presque chaque optimiseur que tu utiliseras en a un.
Vois-le d'abord
Lance l'animation. La descente de gradient simple zigzague en travers de la vallée. Une boule lourde garde une partie de sa vitesse précédente : les zigzags s'annulent (gauche, droite, gauche) pendant que la traction régulière le long de la vallée s'additionne pas après pas. Donc elle file le long du fond de la vallée.
Nomme-le
v = beta * v + grad # velocity: mostly the old velocity, plus the new push
p = p - lr * v
Avec beta = 0.9, la boule se souvient à peu près des 10 dernières poussées.
Pourquoi la descente simple est lente ici
Sur ce bol, la direction raide est 50 fois plus raide que la douce. Le taux d'apprentissage de la descente simple est plafonné par la direction raide : au-dessus de 2/50 = 0.04, les pas en travers de la vallée grandissent et ça explose. Juste sous le plafond, à 0.039, elle zigzague en travers de la vallée (chaque pas dépasse et atterrit de l'autre côté) pendant qu'elle rampe le long, parce que 0.039 est un taux minuscule pour la direction douce. Le momentum peut utiliser un taux plus grand et garder sa vitesse le long de la vallée : il dépasse aussi dans la direction raide, mais ces oscillations s'annulent pendant que les poussées le long du fond s'additionnent.
(Exactement à lr = 1/50 = 0.02, il n'y a pas de zigzag du tout : un pas atterrit au fond de la vallée, et le reste est la lente reptation. Essaie.)
(La scène dessine une vallée plus douce, 25 fois plus raide en travers, avec beta 0.5, pour que ses chemins tiennent à l'écran ; les nombres de cette leçon sont pour la vallée de 50 fois que tu codes.)
Momentum : une somme courante des gradients récents qui lisse les zigzags et prend de la vitesse dans les directions constantes.
Mots et symboles de cette leçon
- momentum (beta)
- garder une partie de la vitesse du pas précédent
Écris steps_plain(lr) et steps_momentum(lr, beta) : en partant de (1, 1) sur le bol étiré, compte les pas jusqu'à ce que la distance au fond soit inférieure à 0.001 (max 20 000). Donne à chacun ses propres bons réglages : la descente simple à lr 0.039, juste sous son plafond, et le momentum à lr 0.06 avec beta 0.6. Le momentum doit demander au plus un tiers des pas.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.