Programme Leçon 40 sur 246 · Module 3 : Du neurone au MLP
Module 3 : Du neurone au MLP

Descendre la pente (descente de gradient à la main)

Pourquoi c'est important Choisir les poids à la main ne passe pas à l'échelle d'un million de poids. Le gradient dit à chaque poids d'un coup de quel côté descend la pente.

Nomme-le

Pour la perte L = mean((X @ w + b - y) au carré), pousse w1 et L change de 2 * mean(error * x1), où error vaut prédiction moins vérité. C'est la dérivée de L par rapport à w1. Tout d'un coup : grad_w = 2 * X.T @ error / n, et grad_b = 2 * mean(error).

Lis-le en mots simples

Si les prédictions sont trop hautes (erreur positive) sur les maisons de grande surface, alors baisser w1 aide, et le gradient de w1 est positif, donc on le soustrait. À chaque étape : w = w - lr * grad_w, où lr, le taux d'apprentissage, fixe la taille du pas.

Descente de gradient : répéter « calcule le gradient, fais un petit pas contre lui ». Taux d'apprentissage : la taille de chaque pas.

Prédis la courbe

Avant de lancer ton entraînement, devine la perte aux étapes 0, 10, 50 et 200 dans my_guess. Le code affiche ta supposition à côté de la vérité.

Récap Gradient, pas contre lui, recommence.

Mots et symboles de cette leçon
poids (w, W), biais (b)
les nombres qu'un neurone apprend ; le biais décale sa sortie
taux d'apprentissage (lr)
la taille de chaque pas d'entraînement
À ton tour

Écris gradients(X, y, w, b) qui renvoie (grad_w, grad_b), et train(X, y, lr, steps) qui part de zéros et renvoie (w, b, losses), où losses contient la perte avant chaque étape. Remplis d'abord my_guess. La perte entraînée doit finir sous 0.01 avec lr 0.5 et les 201 étapes que demande le code de départ.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.