Programme Leçon 65 sur 246 · Module 5 : Optimisation
Module 5 : Optimisation

Pourquoi un bol étiré est lent (conditionnement)

Pourquoi c'est important Les vrais paysages de perte sont raides dans certaines directions et presque plats dans d'autres. C'est ce décalage, et non le nombre de poids, qui rend la descente de gradient simple lente.

Vois-le

Prends f = (k x squared + y squared) / 2. Avec k = 1, c'est un bol rond. Avec k = 100, c'est une longue vallée étroite : raide en travers, douce en longueur. Le taux d'apprentissage doit convenir aux deux directions à la fois. Le meilleur choix unique, lr = 2 / (k + 1), fait garder à chaque pas (k - 1) / (k + 1) de la distance dans les deux directions : 0.98 quand k = 100. Plus grand, la direction raide dépasse et se stabilise plus lentement (au-dessus de 2 / k, elle grandit sans limite) ; plus petit, la direction douce rampe encore plus lentement. Donc la marche zigzague en travers de la vallée pendant qu'elle avance à pas de fourmi le long.

Conditionnement : le rapport entre la courbure la plus raide et la plus douce, ici k. La descente de gradient simple a besoin d'environ k pas pour bien progresser.

Prédis la courbe : avant d'exécuter, prédis combien de pas il faut pour arriver à moins de 0.001 du fond pour k = 1, 10 et 100, avec le meilleur taux d'apprentissage fixe, 2 / (k + 1).

Récap L'étirement ralentit la descente simple en proportion de l'étirement.

Mots et symboles de cette leçon
conditionnement
à quel point la direction la plus raide est plus raide que la plus douce
À ton tour

Remplis my_guess (trois nombres de pas), puis écris steps_to_converge(k) : pars de (1, 1), utilise lr = 2 / (k + 1), et compte les pas jusqu'à ce que la distance à (0, 0) soit inférieure à 0.001 (arrête-toi à 100 000).

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.