Lehrplan Lektion 115 von 246 · Modul 10: Netzwerke, die sehen (CNNs)
Modul 10: Netzwerke, die sehen (CNNs)

Konvolution rückwärts

Warum das wichtig ist Um seine Filter zu lernen, benötigt ein CNN den Gradienten des loss in Bezug auf jedes Filtergewicht. Es stellt sich heraus, dass es eine weitere Convolution ist.

Kleine Zahlen, in 1D first

Input x = [1, 2, 3, 4], filter w = [10, 20], valid output y = [1*10 + 2*20, 2*10 + 3*20, 3*10 + 4*20] = [50, 80, 110]. Gewicht w[0] hat x[0], x[1], x[2] berührt (einmal pro Output), also ist sein Gradient g[0]*x[0] + g[1]*x[1] + g[2]*x[2]: der Input glitt gegen den ankommenden Gradient g. Input x[1] wurde von y[0] (mit w[1]) und y[1] (mit w[0]) verwendet, also sammelt sein Gradient g[0]*w[1] + g[1]*w[0].

Die Regeln

  • Filter gradient: schiebe den input gegen den ankommenden gradient (eine gültige korrelation von x mit g).
  • Input-Gradient: pad g und schiebe den Filter, umgekehrt, darüber (eine vollständige Faltung).

Gleiche Idee in 2D. Conv2d schaltet in der house library nach dieser Lektion frei.

Wörter und Symbole in dieser Lektion
convolution
Verschiebe ein kleines Gitter von Gewichten (einen Filter) über ein Bild, ein Skalarprodukt pro Position
filter, Feature-Map
das kleine gelernte Gitter von Gewichten; und das Bild seiner Antworten
Du bist dran

Schreibe conv1d(x, w) (valid) und conv1d_backward(x, w, g) zurückgebend (dx, dw). Dann conv2d_backward(img, k, g) zurückgebend (dimg, dk) für die 2D valid convolution. Der versteckte Test prüft jeden Gradienten gegen einen Nudge.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.