Programma Les 119 van 246 · Module 10: Netwerken die zien (CNNs)
Module 10: Netwerken die zien (CNNs)

Een klein CNN op cijfers

Waarom dit ertoe doet Dit is het idee van LeNet uit 1998: convolution, pooling, convolution, pooling, dan een classifier. Bouw het met de house layers die je hebt verdiend en zie het de MLP verslaan op verschoven cijfers.

De huisbibliotheek nnsim.engine heeft de lagen die je hebt gebouwd: conv (3 bij 3, dezelfde padding), relu, pool2 (2 bij 2 gemiddelde), gap (global average pooling), matmul, cross_entropy en Adam. Een conv gewicht voor 3 bij 3 filters van C_in naar C_out kanalen heeft vorm (9 * C_in, C_out).

De huisbibliotheek, in één kaart (houd het bij de hand voor de rest van de cursus; print(E.GUIDE) laat het weer zien in elke les)

  • E.T(array) verpakt getallen als een tensor. .data is de array (float32); .grad is None totdat backward() het bereikt.
  • loss.backward() vult .grad in op elke tensor waar de loss van afhangt.
  • opt = E.Adam(params, lr) neemt een lijst van tensors. opt.step() update elke tensor die een gradient heeft en zet daarna zijn .grad terug naar None, zodat je nooit zelf gradients naar nul zet.
  • Afbeeldingen zijn channels last: (batch, rows, columns, channels). E.conv(x, w) behoudt de grootte (same padding) en zet C kanalen om naar F met w van vorm (9 * C, F). E.pool2 halveert rows en columns; E.gap middelt deze weg, wat (batch, channels) geeft.
  • E.cross_entropy(logits, y): logits (batch, classes) als een tensor, y een gewoon integer array. Het geeft een tensor terug met één getal; float(loss.data) leest het.
  • Een hele trainingsstap bestaat uit drie regels: loss = E.cross_entropy(forward(Xb), yb), loss.backward(), opt.step().
  • Opgenomen runs: print(R.experiment(name)) geeft de instellingen en de namen van de metrics weer; run = exp.run(setting=value, ...), dan run.loss (paren van step en loss), run.metrics (een dictionary) en run.final_loss.

Roep de Curve op met de grafiek: schat de training loss na epoch 1 en na epoch 8 (de laatste).

Woorden en symbolen in deze les
convolution
het schuiven van een klein raster van gewichten (een filter) over een afbeelding, één dot product per positie
filter, feature map
het kleine geleerde raster van gewichten; en de afbeelding van de responsen
padding (p), stride (s)
zeros toegevoegd rond de rand; hoeveel pixels de filter elke stap verplaatst
pooling
Een kaart verkleinen door het maximum of gemiddelde van elk blok te behouden
RECORDED
Een echte run van de cursus is één keer getraind en verzonden zodat je het kunt bestuderen
Jij bent aan de beurt

Vul my_guess in, schrijf dan train(epochs, seed) die een functie predict(X) retourneert. Gebruik conv(1 to 16) + relu, conv(16 to 32) + relu, global average pooling, en dan een linear layer naar 10 classes. Haal minstens 90% op de test digits, en minstens 60% op test digits verschoven met 2 pixels (waar de MLP ongeveer 21% scoorde). De verschoven score varieert veel per seed (het eigen antwoord van de cursus krijgt 0.76 tot 0.89 over vijf seeds), dus de lat ligt ruim daaronder. Adam met een learning rate van ongeveer 1e-2 werkt hier; met 3e-3 leert dit kleine netwerk te traag voor de les.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.