Konvolusi backward
Kenapa ini penting Untuk mempelajari filternya, sebuah CNN butuh gradien dari loss terhadap setiap bobot filter. Ternyata itu adalah konvolusi lainnya.
Angka kecil, di 1D pertama
Input x = [1, 2, 3, 4], filter w = [10, 20], valid output y = [1*10 + 2*20, 2*10 + 3*20, 3*10 + 4*20] = [50, 80, 110]. Bobot w[0] menyentuh x[0], x[1], x[2] (sekali per output), jadi gradiennya adalah g[0]*x[0] + g[1]*x[1] + g[2]*x[2]: input bergeser terhadap gradien yang datang g. Input x[1] digunakan oleh y[0] (dengan w[1]) dan y[1] (dengan w[0]), jadi gradiennya mengumpulkan g[0]*w[1] + g[1]*w[0].
Aturan-aturannya
- Filter gradient: geser input terhadap gradient yang masuk (korelasi x dengan g yang valid).
- Input gradient: pad g dan geser filter, dibalik, di atasnya (konvolusi penuh).
Ide yang sama di 2D. Conv2d membuka kunci di library rumah setelah pelajaran ini.
Kata dan simbol di pelajaran ini
- convolution
- menggeser kisi kecil bobot (filter) di atas gambar, satu dot product per posisi
- filter, peta fitur
- grid bobot kecil yang terlatih; dan citra dari responsnya
Tulis conv1d(x, w) (valid) dan conv1d_backward(x, w, g) yang mengembalikan (dx, dw). Lalu conv2d_backward(img, k, g) yang mengembalikan (dimg, dk) untuk konvolusi valid 2D. Tes tersembunyi memeriksa setiap gradien terhadap sebuah nudge.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.