Pourquoi un bol étiré est lent (conditionnement)
Pourquoi c'est important Les vrais paysages de perte sont raides dans certaines directions et presque plats dans d'autres. C'est ce décalage, et non le nombre de poids, qui rend la descente de gradient simple lente.
Vois-le
Prends f = (k x squared + y squared) / 2. Avec k = 1, c'est un bol rond. Avec k = 100, c'est une longue vallée étroite : raide en travers, douce en longueur. Le taux d'apprentissage doit convenir aux deux directions à la fois. Le meilleur choix unique, lr = 2 / (k + 1), fait garder à chaque pas (k - 1) / (k + 1) de la distance dans les deux directions : 0.98 quand k = 100. Plus grand, la direction raide dépasse et se stabilise plus lentement (au-dessus de 2 / k, elle grandit sans limite) ; plus petit, la direction douce rampe encore plus lentement. Donc la marche zigzague en travers de la vallée pendant qu'elle avance à pas de fourmi le long.
Conditionnement : le rapport entre la courbure la plus raide et la plus douce, ici k. La descente de gradient simple a besoin d'environ k pas pour bien progresser.
Prédis la courbe : avant d'exécuter, prédis combien de pas il faut pour arriver à moins de 0.001 du fond pour k = 1, 10 et 100, avec le meilleur taux d'apprentissage fixe, 2 / (k + 1).
Récap L'étirement ralentit la descente simple en proportion de l'étirement.
Mots et symboles de cette leçon
- conditionnement
- à quel point la direction la plus raide est plus raide que la plus douce
Remplis my_guess (trois nombres de pas), puis écris steps_to_converge(k) : pars de (1, 1), utilise lr = 2 / (k + 1), et compte les pas jusqu'à ce que la distance à (0, 0) soit inférieure à 0.001 (arrête-toi à 100 000).
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.