Programme Leçon 61 sur 246 · Module 4 : Ton propre moteur d'autograd
Module 4 : Ton propre moteur d'autograd

Des couches qui gardent leurs propres poids

Pourquoi c'est important Les vrais réseaux ont beaucoup de couches. Chaque couche doit posséder ses poids et pouvoir les lister, pour que le code d'entraînement n'ait jamais besoin de savoir ce qu'il y a dedans.

Une couche Linear garde W et b sous forme de Tensors et calcule x @ W + b. Un MLP garde une liste de couches Linear avec ReLU entre elles. Les deux proposent parameters(), une liste de leurs Tensors de poids.

Pourquoi remettre les gradients à zéro

Ta passe arrière ajoute à chaque grad. C'est juste à l'intérieur d'une passe, mais entre les étapes, l'ancien gradient est toujours là. Oublie de l'effacer et chaque étape utilise la somme de tous les gradients passés : l'entraînement dérive puis explose. Donc chaque étape, c'est : mets les grads à zéro, passe avant, passe arrière, pas.

Paramètre : un poids que l'entraînement modifie. zero_grad : remettre le grad de chaque paramètre à zéro avant la passe arrière suivante.

Démarre les poids avec une dispersion de sqrt(2 / entrées), ce qui garde les signaux d'une taille raisonnable à travers les couches ReLU. Le module 6 explique pourquoi.

Mots et symboles de cette leçon
Tensor
ici : un tableau plus son gradient plus les Tensors dont il vient
unbroadcast
sommer un gradient pour le ramener à la forme depuis laquelle il a été étiré
zero_grad
remettre les gradients à zéro avant l'étape suivante, parce que la passe arrière y ajoute
À ton tour

Écris Linear, MLP, zero_grad(params) et sgd_step(params, lr) comme décrit. MLP([64, 32, 10], rng) crée deux couches Linear avec une ReLU entre elles et aucune après la dernière.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.