Konvolution rückwärts
Warum das wichtig ist Um seine Filter zu lernen, benötigt ein CNN den Gradienten des loss in Bezug auf jedes Filtergewicht. Es stellt sich heraus, dass es eine weitere Convolution ist.
Kleine Zahlen, in 1D first
Input x = [1, 2, 3, 4], filter w = [10, 20], valid output y = [1*10 + 2*20, 2*10 + 3*20, 3*10 + 4*20] = [50, 80, 110]. Gewicht w[0] hat x[0], x[1], x[2] berührt (einmal pro Output), also ist sein Gradient g[0]*x[0] + g[1]*x[1] + g[2]*x[2]: der Input glitt gegen den ankommenden Gradient g. Input x[1] wurde von y[0] (mit w[1]) und y[1] (mit w[0]) verwendet, also sammelt sein Gradient g[0]*w[1] + g[1]*w[0].
Die Regeln
- Filter gradient: schiebe den input gegen den ankommenden gradient (eine gültige korrelation von x mit g).
- Input-Gradient: pad g und schiebe den Filter, umgekehrt, darüber (eine vollständige Faltung).
Gleiche Idee in 2D. Conv2d schaltet in der house library nach dieser Lektion frei.
Wörter und Symbole in dieser Lektion
- convolution
- Verschiebe ein kleines Gitter von Gewichten (einen Filter) über ein Bild, ein Skalarprodukt pro Position
- filter, Feature-Map
- das kleine gelernte Gitter von Gewichten; und das Bild seiner Antworten
Schreibe conv1d(x, w) (valid) und conv1d_backward(x, w, g) zurückgebend (dx, dw). Dann conv2d_backward(img, k, g) zurückgebend (dimg, dk) für die 2D valid convolution. Der versteckte Test prüft jeden Gradienten gegen einen Nudge.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.