Programme Leçon 115 sur 246 · Module 10 : Des réseaux qui voient (CNN)
Module 10 : Des réseaux qui voient (CNN)

La passe arrière de la convolution

Pourquoi c'est important Pour apprendre ses filtres, un CNN a besoin du gradient de la perte par rapport à chaque poids de filtre. Il s'avère que c'est une autre convolution.

De tout petits nombres, en 1D d'abord

Entrée x = [1, 2, 3, 4], filtre w = [10, 20], sortie valide y = [1*10 + 2*20, 2*10 + 3*20, 3*10 + 4*20] = [50, 80, 110]. Le poids w[0] a touché x[0], x[1], x[2] (une fois par sortie), donc son gradient vaut g[0]*x[0] + g[1]*x[1] + g[2]*x[2] : l'entrée glissée contre le gradient qui arrive g. L'entrée x[1] a été utilisée par y[0] (avec w[1]) et y[1] (avec w[0]), donc son gradient rassemble g[0]*w[1] + g[1]*w[0].

Les règles

  • Gradient du filtre : glisse l'entrée contre le gradient qui arrive (une corrélation valide de x avec g).
  • Gradient de l'entrée : complète g avec des zéros et glisse dessus le filtre, retourné (une convolution complète).

La même idée en 2D. Conv2d se déverrouille dans la bibliothèque du cours après cette leçon.

Mots et symboles de cette leçon
convolution
faire glisser une petite grille de poids (un filtre) sur une image, un produit scalaire par position
filtre, carte de caractéristiques
la petite grille de poids apprise ; et l'image de ses réponses
À ton tour

Écris conv1d(x, w) (valide) et conv1d_backward(x, w, g) qui renvoie (dx, dw). Puis conv2d_backward(img, k, g) qui renvoie (dimg, dk) pour la convolution 2D valide. Le test caché vérifie chaque gradient par rapport à une poussée.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.