Comment les modèles apprennent
Un réseau tout neuf a des poids aléatoires et ne sert à rien. L'entraînement, c'est pousser petit à petit ces poids jusqu'à ce que la sortie devienne bonne. Deux idées le font tourner.
1. Une fonction de perte mesure l'erreur
Il te faut un seul nombre qui dit à quel point les prédictions sont mauvaises. Pour la régression, le choix habituel est l'erreur quadratique moyenne (MSE) : la moyenne des écarts au carré entre vérité et prédiction.
def mse(y_true, y_pred):
diffs = np.asarray(y_true) - np.asarray(y_pred)
return float(np.mean(diffs ** 2))Mettre au carré punit plus fort les grosses erreurs et garde tout positif. Une perte plus basse est meilleure ; une perte nulle veut dire un ajustement parfait.
2. La descente de gradient descend la pente
Imagine la perte comme une surface vallonnée et les poids comme ta position dessus. Le gradient est la pente : il pointe vers le haut, vers plus de perte. Donc pour réduire la perte, tu fais un petit pas dans la direction opposée.
w = w - learning_rate * gradientLe taux d'apprentissage (learning rate) est la taille du pas. Répète ça des milliers de fois et les poids descendent vers une vallée de faible perte. Cette boucle, c'est tout l'entraînement.
Pour un modèle jouet y = w * x avec la MSE, le gradient de la perte par rapport à w vaut mean(2 * (w*x - y) * x). Tu vas faire exactement un pas et regarder la perte baisser.
D'un poids à un réseau entier
Le réseau à deux couches de la leçon précédente a beaucoup de poids, pas un seul. L'entraîner, c'est trouver le gradient de la perte par rapport à chaque poids, couche par couche. C'est la rétropropagation (backpropagation) : on part de la perte et on applique la règle de la chaîne à rebours à travers chaque couche pour obtenir la pente de chaque poids, puis on fait le même pas vers le bas sur tous à la fois. Le calcul est plus lourd, mais l'idée est identique au pas unique que tu fais ci-dessous. Dans du vrai code, tu ne le dérives jamais à la main : des frameworks comme PyTorch enregistrent la passe avant et un seul appel à loss.backward() calcule tous les gradients pour toi. On fait ici la version à un poids pour que le mécanisme reste concret.
Code mse(y_true, y_pred) (moyenne des différences au carré). Puis, pour le modèle jouet y = w * x, calcule loss_before, fais un pas de descente de gradient avec grad = np.mean(2 * (w*x - y) * x) et w = w - lr * grad, puis calcule loss_after. La perte doit baisser.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.