Una piccola CNN sulle cifre
Perché è importante È l'idea di LeNet del 1998: convoluzione, pooling, convoluzione, pooling, poi un classificatore. Costruiscila dai layer di casa che ti sei guadagnato e guardala battere l'MLP sulle cifre spostate.
La libreria di casa nnsim.engine ha i layer che hai costruito: conv (3 per 3, padding same), relu, pool2 (media 2 per 2), gap (global average pooling), matmul, cross_entropy e Adam. Un peso conv per filtri 3 per 3 da C_in a C_out canali ha forma (9 * C_in, C_out).
La libreria di casa, in una scheda (tienila a portata di mano per il resto del corso; print(E.GUIDE) la mostra di nuovo in qualsiasi lezione)
E.T(array)avvolge dei numeri come tensore..dataè l'array (float32);.gradèNonefinchébackward()non lo raggiunge.loss.backward()riempie.gradsu ogni tensore da cui dipende la loss.opt = E.Adam(params, lr)prende una lista di tensori.opt.step()aggiorna ognuno che ha un gradiente e poi riporta il suo.gradaNone, così non azzeri mai tu i gradienti.- Le immagini hanno i canali in fondo: (batch, righe, colonne, canali).
E.conv(x, w)mantiene la dimensione (padding same) e trasforma C canali in F conwdi forma (9 * C, F).E.pool2dimezza righe e colonne;E.gapne fa la media e le toglie, dando (batch, canali). E.cross_entropy(logits, y): logits (batch, classi) come tensore, y un semplice array di interi. Restituisce un tensore che contiene un numero;float(loss.data)lo legge.- Un intero passo di addestramento sono tre righe:
loss = E.cross_entropy(forward(Xb), yb),loss.backward(),opt.step(). - Esecuzioni registrate:
print(R.experiment(name))elenca le sue impostazioni e i nomi delle sue metriche;run = exp.run(setting=value, ...), poirun.loss(coppie di passo e loss),run.metrics(un dizionario) erun.final_loss.
Indovina la curva con il grafico: indovina la loss di addestramento dopo l'epoca 1 e dopo l'epoca 8 (l'ultima).
Parole e simboli di questa lezione
- convoluzione
- far scorrere una piccola griglia di pesi (un filtro) su un'immagine, un prodotto scalare per posizione
- filtro, mappa delle caratteristiche
- la piccola griglia di pesi appresa; e l'immagine delle sue risposte
- padding (p), stride (s)
- zeri aggiunti attorno al bordo; di quanti pixel si sposta il filtro a ogni passo
- pooling
- rimpicciolire una mappa tenendo il massimo o la media di ogni blocco
- REGISTRATO
- un addestramento vero che il corso ha eseguito una volta e ti fornisce da studiare
Compila my_guess, poi scrivi train(epochs, seed) che restituisce una funzione predict(X). Usa conv(da 1 a 16) + relu, conv(da 16 a 32) + relu, global average pooling, poi un layer lineare verso 10 classi. Raggiungi almeno il 90% sulle cifre di test, e almeno il 60% sulle cifre di test spostate di 2 pixel (dove l'MLP otteneva circa il 21%). Il punteggio con lo spostamento cambia molto da seme a seme (la risposta del corso stesso ottiene da 0.76 a 0.89 su cinque semi), quindi la soglia sta ben sotto. Qui funziona Adam con un learning rate di circa 1e-2; con 3e-3 questa piccola rete impara troppo lentamente per la lezione.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.