Programme Leçon 103 sur 250 · L'intuition des réseaux de neurones, les LLM et le projet final IA
L'intuition des réseaux de neurones, les LLM et le projet final IA

À voir : la rétropropagation et la règle de la chaîne

La descente de gradient a besoin d'une chose : le gradient de la perte par rapport à chaque entrée et chaque poids. La rétropropagation est la façon de l'obtenir, et ce n'est que la règle de la chaîne appliquée à un graphe d'opérations.

Appuie sur lecture. Pousse une valeur vers l'avant à travers un petit graphe (x -> doubler -> mettre au carré -> L), puis regarde le gradient remonter en arrière, en se multipliant par le gradient local de chaque étape. Une fois que tu l'as vu, le moteur d'autograd que tu construis ensuite n'a plus rien de magique.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.