Adam : la boule plus les boutons
Pourquoi c'est important Adam est l'optimiseur par défaut de la plupart de l'apprentissage profond. C'est le momentum et RMSProp ensemble, plus une petite correction qui compte beaucoup au début.
De tout petits nombres d'abord
Un poids, beta1 = 0.9, beta2 = 0.999, lr = 0.1. Le gradient au pas 1 vaut 2.0. La moyenne courante des gradients, m, commence à 0 : m = 0.9 * 0 + 0.1 * 2 = 0.2. Mais le vrai gradient récent vaut 2, pas 0.2 : m est biaisé vers son zéro de départ. Divise par (1 - 0.9 à la puissance t) pour corriger : 0.2 / 0.1 = 2.0. La même correction pour la moyenne des carrés v : 0.004 / 0.001 = 4.0. Pas = 0.1 * 2 / sqrt(4) = 0.1.
Sans la correction, le premier pas vaudrait 0.1 * 0.2 / sqrt(0.004) = 0.32, plus de trois fois trop grand, et dans un vrai réseau, ces premiers pas déchaînés peuvent ruiner le début de l'entraînement.
m = b1 * m + (1 - b1) * g
v = b2 * v + (1 - b2) * g ** 2
m_hat = m / (1 - b1 ** t)
v_hat = v / (1 - b2 ** t)
p = p - lr * m_hat / (np.sqrt(v_hat) + eps)
Correction du biais : diviser par (1 - beta à la puissance t) pour que des moyennes parties de zéro ne soient pas sous-estimées dans les premiers pas. t compte les pas à partir de 1.
Mots et symboles de cette leçon
- momentum (beta)
- garder une partie de la vitesse du pas précédent
- RMSProp
- diviser le pas de chaque poids par la force habituelle de son gradient
- Adam (m, v, t)
- le momentum (m) plus un bouton de volume par poids (v), corrigé pour les premiers pas (t)
Remplis d'abord first_step_with et first_step_without : la taille du pas 1 dans l'exemple ci-dessus, avec et sans correction du biais. Puis écris la classe Adam(lr, b1=0.9, b2=0.999, eps=1e-8) avec une méthode step(p, g) qui renvoie le tableau de paramètres mis à jour.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.