La convoluzione all'indietro
Perché è importante Per imparare i suoi filtri, una CNN ha bisogno del gradiente della loss rispetto a ogni peso dei filtri. Risulta essere un'altra convoluzione.
Numeri piccolissimi, prima in 1D
Input x = [1, 2, 3, 4], filtro w = [10, 20], output valido y = [1*10 + 2*20, 2*10 + 3*20, 3*10 + 4*20] = [50, 80, 110]. Il peso w[0] ha toccato x[0], x[1], x[2] (una volta per output), quindi il suo gradiente è g[0]*x[0] + g[1]*x[1] + g[2]*x[2]: l'input fatto scorrere contro il gradiente che arriva g. L'input x[1] è stato usato da y[0] (con w[1]) e y[1] (con w[0]), quindi il suo gradiente raccoglie g[0]*w[1] + g[1]*w[0].
Le regole
- Gradiente del filtro: fai scorrere l'input contro il gradiente che arriva (una correlazione valida di x con g).
- Gradiente dell'input: aggiungi padding a g e fai scorrere su di esso il filtro, ribaltato (una convoluzione completa).
La stessa idea in 2D. Conv2d si sblocca nella libreria di casa dopo questa lezione.
Parole e simboli di questa lezione
- convoluzione
- far scorrere una piccola griglia di pesi (un filtro) su un'immagine, un prodotto scalare per posizione
- filtro, mappa delle caratteristiche
- la piccola griglia di pesi appresa; e l'immagine delle sue risposte
Scrivi conv1d(x, w) (valida) e conv1d_backward(x, w, g) che restituisce (dx, dw). Poi conv2d_backward(img, k, g) che restituisce (dimg, dk) per la convoluzione valida 2D. Il test nascosto controlla ogni gradiente con uno spostamento.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.