Descendre la pente (descente de gradient à la main)
Pourquoi c'est important Choisir les poids à la main ne passe pas à l'échelle d'un million de poids. Le gradient dit à chaque poids d'un coup de quel côté descend la pente.
Nomme-le
Pour la perte L = mean((X @ w + b - y) au carré), pousse w1 et L change de 2 * mean(error * x1), où error vaut prédiction moins vérité. C'est la dérivée de L par rapport à w1. Tout d'un coup : grad_w = 2 * X.T @ error / n, et grad_b = 2 * mean(error).
Lis-le en mots simples
Si les prédictions sont trop hautes (erreur positive) sur les maisons de grande surface, alors baisser w1 aide, et le gradient de w1 est positif, donc on le soustrait. À chaque étape : w = w - lr * grad_w, où lr, le taux d'apprentissage, fixe la taille du pas.
Descente de gradient : répéter « calcule le gradient, fais un petit pas contre lui ». Taux d'apprentissage : la taille de chaque pas.
Prédis la courbe
Avant de lancer ton entraînement, devine la perte aux étapes 0, 10, 50 et 200 dans my_guess. Le code affiche ta supposition à côté de la vérité.
Récap Gradient, pas contre lui, recommence.
Mots et symboles de cette leçon
- poids (w, W), biais (b)
- les nombres qu'un neurone apprend ; le biais décale sa sortie
- taux d'apprentissage (lr)
- la taille de chaque pas d'entraînement
Écris gradients(X, y, w, b) qui renvoie (grad_w, grad_b), et train(X, y, lr, steps) qui part de zéros et renvoie (w, b, losses), où losses contient la perte avant chaque étape. Remplis d'abord my_guess. La perte entraînée doit finir sous 0.01 avec lr 0.5 et les 201 étapes que demande le code de départ.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.