Programme Leçon 106 sur 250 · L'intuition des réseaux de neurones, les LLM et le projet final IA
L'intuition des réseaux de neurones, les LLM et le projet final IA

Entraîne un modèle avec ton moteur

Tu as construit le moteur d'autograd. Maintenant, utilise-le pour vraiment apprendre, la boucle qui entraîne tout réseau de neurones. La classe Value est fournie (elle enveloppe maintenant aussi les nombres simples, donc w * x marche quand x est un float). Ton travail, c'est la boucle d'entraînement.

Ajuste un seul poids w pour que w * x prédise y. Un pas de descente de gradient, c'est toujours les mêmes gestes :

w = Value(0.0)
for step in range(steps):
    loss = Value(0.0)
    for x, y in zip(xs, ys):
        diff = w * x + (-y)          # prediction minus target
        loss = loss + diff * diff    # squared error, summed
    w.grad = 0.0                     # 1) reset the gradient
    loss.backward()                  # 2) backprop to fill w.grad
    w.data -= lr * w.grad            # 3) step downhill

Deux erreurs faciles : remets le gradient à zéro avant chaque backward(), sinon les anciens gradients s'empilent (backward utilise +=) ; et soustrais lr * w.grad pour descendre, n'ajoute pas. Sur assez de pas, w glisse vers la valeur qui minimise la perte, la droite d'ajustement optimal.

Écris fit(xs, ys, steps, lr) en partant de w = Value(0.0), qui renvoie le w.data final. Appuie sur Run pour le regarder apprendre y = 2x.

À ton tour

Écris fit(xs, ys, steps, lr) qui ajuste un poids w (départ Value(0.0)) par descente de gradient pour que w * x prédise y. À chaque pas : construis loss comme la somme des erreurs au carré avec des opérations Value, écris w.grad = 0.0, loss.backward(), puis w.data -= lr * w.grad. Renvoie le w.data final. La classe Value est fournie.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.