Programme Leçon 70 sur 246 · Module 5 : Optimisation
Module 5 : Optimisation

Adam : la boule plus les boutons

Pourquoi c'est important Adam est l'optimiseur par défaut de la plupart de l'apprentissage profond. C'est le momentum et RMSProp ensemble, plus une petite correction qui compte beaucoup au début.

De tout petits nombres d'abord

Un poids, beta1 = 0.9, beta2 = 0.999, lr = 0.1. Le gradient au pas 1 vaut 2.0. La moyenne courante des gradients, m, commence à 0 : m = 0.9 * 0 + 0.1 * 2 = 0.2. Mais le vrai gradient récent vaut 2, pas 0.2 : m est biaisé vers son zéro de départ. Divise par (1 - 0.9 à la puissance t) pour corriger : 0.2 / 0.1 = 2.0. La même correction pour la moyenne des carrés v : 0.004 / 0.001 = 4.0. Pas = 0.1 * 2 / sqrt(4) = 0.1.

Sans la correction, le premier pas vaudrait 0.1 * 0.2 / sqrt(0.004) = 0.32, plus de trois fois trop grand, et dans un vrai réseau, ces premiers pas déchaînés peuvent ruiner le début de l'entraînement.

m = b1 * m + (1 - b1) * g
v = b2 * v + (1 - b2) * g ** 2
m_hat = m / (1 - b1 ** t)
v_hat = v / (1 - b2 ** t)
p = p - lr * m_hat / (np.sqrt(v_hat) + eps)

Correction du biais : diviser par (1 - beta à la puissance t) pour que des moyennes parties de zéro ne soient pas sous-estimées dans les premiers pas. t compte les pas à partir de 1.

Mots et symboles de cette leçon
momentum (beta)
garder une partie de la vitesse du pas précédent
RMSProp
diviser le pas de chaque poids par la force habituelle de son gradient
Adam (m, v, t)
le momentum (m) plus un bouton de volume par poids (v), corrigé pour les premiers pas (t)
À ton tour

Remplis d'abord first_step_with et first_step_without : la taille du pas 1 dans l'exemple ci-dessus, avec et sans correction du biais. Puis écris la classe Adam(lr, b1=0.9, b2=0.999, eps=1e-8) avec une méthode step(p, g) qui renvoie le tableau de paramètres mis à jour.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.