Des surfaces de perte sur lesquelles marcher
Pourquoi c'est important Chaque optimiseur est une façon différente de descendre une pente dans un paysage que tu ne vois pas. Marche d'abord sur un paysage simple.
Imagine la perte comme un paysage : deux poids sont ta position sur une carte, et la perte est l'altitude. Entraîner, c'est descendre la pente. Le gradient pointe vers le haut, donc chaque pas va dans le sens opposé : position = position - lr * gradient.
De tout petits nombres
Sur le bol f(x, y) = x squared + y squared (x au carré plus y au carré), le gradient en (3, 4) vaut (6, 8). Avec lr 0.1, le pas va en (3 - 0.6, 4 - 0.8) = (2.4, 3.2). Chaque pas garde 80 % de la distance au fond, donc après 20 pas, tu es à environ 1 % de ton point de départ.
Taux d'apprentissage : la longueur du pas par rapport au gradient. Trop petit, ça rampe ; trop grand, ça dépasse.
Récap Fais un pas contre le gradient ; le taux d'apprentissage fixe l'enjambée.
Écris descend(grad, start, lr, steps) qui renvoie la liste des positions visitées (le départ compris) sous forme de tableaux NumPy. Puis choisis my_lr pour que, sur le bol de la leçon, en partant de (3, 4), tu sois à moins de 0.01 du fond en au plus 15 pas.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.