Programme Leçon 101 sur 250 · L'intuition des réseaux de neurones, les LLM et le projet final IA
L'intuition des réseaux de neurones, les LLM et le projet final IA

Comment les modèles apprennent

Un réseau tout neuf a des poids aléatoires et ne sert à rien. L'entraînement, c'est pousser petit à petit ces poids jusqu'à ce que la sortie devienne bonne. Deux idées le font tourner.

1. Une fonction de perte mesure l'erreur

Il te faut un seul nombre qui dit à quel point les prédictions sont mauvaises. Pour la régression, le choix habituel est l'erreur quadratique moyenne (MSE) : la moyenne des écarts au carré entre vérité et prédiction.

def mse(y_true, y_pred):
    diffs = np.asarray(y_true) - np.asarray(y_pred)
    return float(np.mean(diffs ** 2))

Mettre au carré punit plus fort les grosses erreurs et garde tout positif. Une perte plus basse est meilleure ; une perte nulle veut dire un ajustement parfait.

2. La descente de gradient descend la pente

Imagine la perte comme une surface vallonnée et les poids comme ta position dessus. Le gradient est la pente : il pointe vers le haut, vers plus de perte. Donc pour réduire la perte, tu fais un petit pas dans la direction opposée.

w = w - learning_rate * gradient

Le taux d'apprentissage (learning rate) est la taille du pas. Répète ça des milliers de fois et les poids descendent vers une vallée de faible perte. Cette boucle, c'est tout l'entraînement.

Pour un modèle jouet y = w * x avec la MSE, le gradient de la perte par rapport à w vaut mean(2 * (w*x - y) * x). Tu vas faire exactement un pas et regarder la perte baisser.

D'un poids à un réseau entier

Le réseau à deux couches de la leçon précédente a beaucoup de poids, pas un seul. L'entraîner, c'est trouver le gradient de la perte par rapport à chaque poids, couche par couche. C'est la rétropropagation (backpropagation) : on part de la perte et on applique la règle de la chaîne à rebours à travers chaque couche pour obtenir la pente de chaque poids, puis on fait le même pas vers le bas sur tous à la fois. Le calcul est plus lourd, mais l'idée est identique au pas unique que tu fais ci-dessous. Dans du vrai code, tu ne le dérives jamais à la main : des frameworks comme PyTorch enregistrent la passe avant et un seul appel à loss.backward() calcule tous les gradients pour toi. On fait ici la version à un poids pour que le mécanisme reste concret.

À ton tour

Code mse(y_true, y_pred) (moyenne des différences au carré). Puis, pour le modèle jouet y = w * x, calcule loss_before, fais un pas de descente de gradient avec grad = np.mean(2 * (w*x - y) * x) et w = w - lr * grad, puis calcule loss_after. La perte doit baisser.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.