Silabus Pelajaran 115 dari 246 · Modul 10: Jaringan yang bisa melihat (CNNs)
Modul 10: Jaringan yang bisa melihat (CNNs)

Konvolusi backward

Kenapa ini penting Untuk mempelajari filternya, sebuah CNN butuh gradien dari loss terhadap setiap bobot filter. Ternyata itu adalah konvolusi lainnya.

Angka kecil, di 1D pertama

Input x = [1, 2, 3, 4], filter w = [10, 20], valid output y = [1*10 + 2*20, 2*10 + 3*20, 3*10 + 4*20] = [50, 80, 110]. Bobot w[0] menyentuh x[0], x[1], x[2] (sekali per output), jadi gradiennya adalah g[0]*x[0] + g[1]*x[1] + g[2]*x[2]: input bergeser terhadap gradien yang datang g. Input x[1] digunakan oleh y[0] (dengan w[1]) dan y[1] (dengan w[0]), jadi gradiennya mengumpulkan g[0]*w[1] + g[1]*w[0].

Aturan-aturannya

  • Filter gradient: geser input terhadap gradient yang masuk (korelasi x dengan g yang valid).
  • Input gradient: pad g dan geser filter, dibalik, di atasnya (konvolusi penuh).

Ide yang sama di 2D. Conv2d membuka kunci di library rumah setelah pelajaran ini.

Kata dan simbol di pelajaran ini
convolution
menggeser kisi kecil bobot (filter) di atas gambar, satu dot product per posisi
filter, peta fitur
grid bobot kecil yang terlatih; dan citra dari responsnya
Giliranku

Tulis conv1d(x, w) (valid) dan conv1d_backward(x, w, g) yang mengembalikan (dx, dw). Lalu conv2d_backward(img, k, g) yang mengembalikan (dimg, dk) untuk konvolusi valid 2D. Tes tersembunyi memeriksa setiap gradien terhadap sebuah nudge.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.