Programma Les 115 van 246 · Module 10: Netwerken die zien (CNNs)
Module 10: Netwerken die zien (CNNs)

Convolution achterwaarts

Waarom dit ertoe doet Om zijn filters te leren, heeft een CNN de gradiënt van de loss nodig ten opzichte van elke filter weight. Het blijkt een andere convolutie te zijn.

Tintalletjes, in 1D eerst

Input x = [1, 2, 3, 4], filter w = [10, 20], geldige output y = [1*10 + 2*20, 2*10 + 3*20, 3*10 + 4*20] = [50, 80, 110]. Gewicht w[0] raakte x[0], x[1], x[2] (één keer per output), dus zijn gradiënt is g[0]*x[0] + g[1]*x[1] + g[2]*x[2]: de input gleed tegen de aankomende gradiënt g. Input x[1] werd gebruikt door y[0] (met w[1]) en y[1] (met w[0]), dus verzamelt zijn gradiënt g[0]*w[1] + g[1]*w[0].

De regels

  • Filter gradient: schuif de input tegen de aankomende gradient (een geldige correlatie van x met g).
  • Input gradient: pad g en schuif de filter, omgedraaid, eroverheen (een volledige convolutie).

Zelfde idee in 2D. Conv2d ontgrendelt in de house library na deze les.

Woorden en symbolen in deze les
convolution
het verschuiven van een klein raster van gewichten (een filter) over een afbeelding, één dot product per positie
filter, feature map
het kleine geleerde raster van gewichten; en de afbeelding van de responsen
Jij bent aan de beurt

Schrijf conv1d(x, w) (valid) en conv1d_backward(x, w, g) die (dx, dw) teruggeven. Schrijf daarna conv2d_backward(img, k, g) die (dimg, dk) teruggeeft voor de 2D valid convolution. De verborgen test controleert elke gradient tegen een nudge.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.