Programma Lezione 115 di 246 · Modulo 10: Reti che vedono (CNN)
Modulo 10: Reti che vedono (CNN)

La convoluzione all'indietro

Perché è importante Per imparare i suoi filtri, una CNN ha bisogno del gradiente della loss rispetto a ogni peso dei filtri. Risulta essere un'altra convoluzione.

Numeri piccolissimi, prima in 1D

Input x = [1, 2, 3, 4], filtro w = [10, 20], output valido y = [1*10 + 2*20, 2*10 + 3*20, 3*10 + 4*20] = [50, 80, 110]. Il peso w[0] ha toccato x[0], x[1], x[2] (una volta per output), quindi il suo gradiente è g[0]*x[0] + g[1]*x[1] + g[2]*x[2]: l'input fatto scorrere contro il gradiente che arriva g. L'input x[1] è stato usato da y[0] (con w[1]) e y[1] (con w[0]), quindi il suo gradiente raccoglie g[0]*w[1] + g[1]*w[0].

Le regole

  • Gradiente del filtro: fai scorrere l'input contro il gradiente che arriva (una correlazione valida di x con g).
  • Gradiente dell'input: aggiungi padding a g e fai scorrere su di esso il filtro, ribaltato (una convoluzione completa).

La stessa idea in 2D. Conv2d si sblocca nella libreria di casa dopo questa lezione.

Parole e simboli di questa lezione
convoluzione
far scorrere una piccola griglia di pesi (un filtro) su un'immagine, un prodotto scalare per posizione
filtro, mappa delle caratteristiche
la piccola griglia di pesi appresa; e l'immagine delle sue risposte
Tocca a te

Scrivi conv1d(x, w) (valida) e conv1d_backward(x, w, g) che restituisce (dx, dw). Poi conv2d_backward(img, k, g) che restituisce (dimg, dk) per la convoluzione valida 2D. Il test nascosto controlla ogni gradiente con uno spostamento.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.