Un bouton de volume par poids (RMSProp)
Pourquoi c'est important Le momentum lisse la direction. RMSProp corrige l'autre problème : certains poids reçoivent d'énormes gradients et d'autres de minuscules, donc un seul taux d'apprentissage ne peut pas convenir à tous.
RMSProp garde, pour chaque poids, une moyenne courante de son gradient au carré : à quel point le gradient de ce poids est habituellement fort. Puis il divise chaque pas par la racine carrée de ça, comme baisser le volume sur les poids bruyants et le monter sur les poids silencieux.
s = rho * s + (1 - rho) * grad ** 2
p = p - lr * grad / (np.sqrt(s) + eps)
Sur le bol étiré, la direction raide a des gradients forts et est baissée, la direction douce est montée, et le bol se comporte presque comme s'il était rond. Ça marche ici parce que les directions raide et douce du bol sont alignées avec les deux poids. Incline la vallée de 45 degrés, pour que chaque poids voie un mélange des deux directions, et un bouton de volume par poids ne peut pas les séparer : RMSProp et Adam aident alors bien moins. Ils remettent à l'échelle selon la force du gradient de chaque poids, pas selon la vraie forme de la vallée.
eps : un nombre minuscule comme 1e-8 qui empêche la division par zéro.
Mots et symboles de cette leçon
- momentum (beta)
- garder une partie de la vitesse du pas précédent
- RMSProp
- diviser le pas de chaque poids par la force habituelle de son gradient
- Adam (m, v, t)
- le momentum (m) plus un bouton de volume par poids (v), corrigé pour les premiers pas (t)
Écris rmsprop(grad, start, lr, rho, steps, eps=1e-8) qui renvoie la position finale. Le test caché compare ta position avec la référence après quelques pas.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.