Programma Lezione 119 di 246 · Modulo 10: Reti che vedono (CNN)
Modulo 10: Reti che vedono (CNN)

Una piccola CNN sulle cifre

Perché è importante È l'idea di LeNet del 1998: convoluzione, pooling, convoluzione, pooling, poi un classificatore. Costruiscila dai layer di casa che ti sei guadagnato e guardala battere l'MLP sulle cifre spostate.

La libreria di casa nnsim.engine ha i layer che hai costruito: conv (3 per 3, padding same), relu, pool2 (media 2 per 2), gap (global average pooling), matmul, cross_entropy e Adam. Un peso conv per filtri 3 per 3 da C_in a C_out canali ha forma (9 * C_in, C_out).

La libreria di casa, in una scheda (tienila a portata di mano per il resto del corso; print(E.GUIDE) la mostra di nuovo in qualsiasi lezione)

  • E.T(array) avvolge dei numeri come tensore. .data è l'array (float32); .grad è None finché backward() non lo raggiunge.
  • loss.backward() riempie .grad su ogni tensore da cui dipende la loss.
  • opt = E.Adam(params, lr) prende una lista di tensori. opt.step() aggiorna ognuno che ha un gradiente e poi riporta il suo .grad a None, così non azzeri mai tu i gradienti.
  • Le immagini hanno i canali in fondo: (batch, righe, colonne, canali). E.conv(x, w) mantiene la dimensione (padding same) e trasforma C canali in F con w di forma (9 * C, F). E.pool2 dimezza righe e colonne; E.gap ne fa la media e le toglie, dando (batch, canali).
  • E.cross_entropy(logits, y): logits (batch, classi) come tensore, y un semplice array di interi. Restituisce un tensore che contiene un numero; float(loss.data) lo legge.
  • Un intero passo di addestramento sono tre righe: loss = E.cross_entropy(forward(Xb), yb), loss.backward(), opt.step().
  • Esecuzioni registrate: print(R.experiment(name)) elenca le sue impostazioni e i nomi delle sue metriche; run = exp.run(setting=value, ...), poi run.loss (coppie di passo e loss), run.metrics (un dizionario) e run.final_loss.

Indovina la curva con il grafico: indovina la loss di addestramento dopo l'epoca 1 e dopo l'epoca 8 (l'ultima).

Parole e simboli di questa lezione
convoluzione
far scorrere una piccola griglia di pesi (un filtro) su un'immagine, un prodotto scalare per posizione
filtro, mappa delle caratteristiche
la piccola griglia di pesi appresa; e l'immagine delle sue risposte
padding (p), stride (s)
zeri aggiunti attorno al bordo; di quanti pixel si sposta il filtro a ogni passo
pooling
rimpicciolire una mappa tenendo il massimo o la media di ogni blocco
REGISTRATO
un addestramento vero che il corso ha eseguito una volta e ti fornisce da studiare
Tocca a te

Compila my_guess, poi scrivi train(epochs, seed) che restituisce una funzione predict(X). Usa conv(da 1 a 16) + relu, conv(da 16 a 32) + relu, global average pooling, poi un layer lineare verso 10 classi. Raggiungi almeno il 90% sulle cifre di test, e almeno il 60% sulle cifre di test spostate di 2 pixel (dove l'MLP otteneva circa il 21%). Il punteggio con lo spostamento cambia molto da seme a seme (la risposta del corso stesso ottiene da 0.76 a 0.89 su cinque semi), quindi la soglia sta ben sotto. Qui funziona Adam con un learning rate di circa 1e-2; con 3e-3 questa piccola rete impara troppo lentamente per la lezione.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.