Convolution achterwaarts
Waarom dit ertoe doet Om zijn filters te leren, heeft een CNN de gradiënt van de loss nodig ten opzichte van elke filter weight. Het blijkt een andere convolutie te zijn.
Tintalletjes, in 1D eerst
Input x = [1, 2, 3, 4], filter w = [10, 20], geldige output y = [1*10 + 2*20, 2*10 + 3*20, 3*10 + 4*20] = [50, 80, 110]. Gewicht w[0] raakte x[0], x[1], x[2] (één keer per output), dus zijn gradiënt is g[0]*x[0] + g[1]*x[1] + g[2]*x[2]: de input gleed tegen de aankomende gradiënt g. Input x[1] werd gebruikt door y[0] (met w[1]) en y[1] (met w[0]), dus verzamelt zijn gradiënt g[0]*w[1] + g[1]*w[0].
De regels
- Filter gradient: schuif de input tegen de aankomende gradient (een geldige correlatie van x met g).
- Input gradient: pad g en schuif de filter, omgedraaid, eroverheen (een volledige convolutie).
Zelfde idee in 2D. Conv2d ontgrendelt in de house library na deze les.
Woorden en symbolen in deze les
- convolution
- het verschuiven van een klein raster van gewichten (een filter) over een afbeelding, één dot product per positie
- filter, feature map
- het kleine geleerde raster van gewichten; en de afbeelding van de responsen
Schrijf conv1d(x, w) (valid) en conv1d_backward(x, w, g) die (dx, dw) teruggeven. Schrijf daarna conv2d_backward(img, k, g) die (dimg, dk) teruggeeft voor de 2D valid convolution. De verborgen test controleert elke gradient tegen een nudge.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.