Des couches qui gardent leurs propres poids
Pourquoi c'est important Les vrais réseaux ont beaucoup de couches. Chaque couche doit posséder ses poids et pouvoir les lister, pour que le code d'entraînement n'ait jamais besoin de savoir ce qu'il y a dedans.
Une couche Linear garde W et b sous forme de Tensors et calcule x @ W + b. Un MLP garde une liste de couches Linear avec ReLU entre elles. Les deux proposent parameters(), une liste de leurs Tensors de poids.
Pourquoi remettre les gradients à zéro
Ta passe arrière ajoute à chaque grad. C'est juste à l'intérieur d'une passe, mais entre les étapes, l'ancien gradient est toujours là. Oublie de l'effacer et chaque étape utilise la somme de tous les gradients passés : l'entraînement dérive puis explose. Donc chaque étape, c'est : mets les grads à zéro, passe avant, passe arrière, pas.
Paramètre : un poids que l'entraînement modifie. zero_grad : remettre le grad de chaque paramètre à zéro avant la passe arrière suivante.
Démarre les poids avec une dispersion de sqrt(2 / entrées), ce qui garde les signaux d'une taille raisonnable à travers les couches ReLU. Le module 6 explique pourquoi.
Mots et symboles de cette leçon
- Tensor
- ici : un tableau plus son gradient plus les Tensors dont il vient
- unbroadcast
- sommer un gradient pour le ramener à la forme depuis laquelle il a été étiré
- zero_grad
- remettre les gradients à zéro avant l'étape suivante, parce que la passe arrière y ajoute
Écris Linear, MLP, zero_grad(params) et sgd_step(params, lr) comme décrit. MLP([64, 32, 10], rng) crée deux couches Linear avec une ReLU entre elles et aucune après la dernière.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.