Programme Leçon 64 sur 246 · Module 5 : Optimisation
Module 5 : Optimisation

Des surfaces de perte sur lesquelles marcher

Pourquoi c'est important Chaque optimiseur est une façon différente de descendre une pente dans un paysage que tu ne vois pas. Marche d'abord sur un paysage simple.

Imagine la perte comme un paysage : deux poids sont ta position sur une carte, et la perte est l'altitude. Entraîner, c'est descendre la pente. Le gradient pointe vers le haut, donc chaque pas va dans le sens opposé : position = position - lr * gradient.

De tout petits nombres

Sur le bol f(x, y) = x squared + y squared (x au carré plus y au carré), le gradient en (3, 4) vaut (6, 8). Avec lr 0.1, le pas va en (3 - 0.6, 4 - 0.8) = (2.4, 3.2). Chaque pas garde 80 % de la distance au fond, donc après 20 pas, tu es à environ 1 % de ton point de départ.

Taux d'apprentissage : la longueur du pas par rapport au gradient. Trop petit, ça rampe ; trop grand, ça dépasse.

Récap Fais un pas contre le gradient ; le taux d'apprentissage fixe l'enjambée.

À ton tour

Écris descend(grad, start, lr, steps) qui renvoie la liste des positions visitées (le départ compris) sous forme de tableaux NumPy. Puis choisis my_lr pour que, sur le bol de la leçon, en partant de (3, 4), tu sois à moins de 0.01 du fond en au plus 15 pas.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.