Een klein CNN op cijfers
Waarom dit ertoe doet Dit is het idee van LeNet uit 1998: convolution, pooling, convolution, pooling, dan een classifier. Bouw het met de house layers die je hebt verdiend en zie het de MLP verslaan op verschoven cijfers.
De huisbibliotheek nnsim.engine heeft de lagen die je hebt gebouwd: conv (3 bij 3, dezelfde padding), relu, pool2 (2 bij 2 gemiddelde), gap (global average pooling), matmul, cross_entropy en Adam. Een conv gewicht voor 3 bij 3 filters van C_in naar C_out kanalen heeft vorm (9 * C_in, C_out).
De huisbibliotheek, in één kaart (houd het bij de hand voor de rest van de cursus; print(E.GUIDE) laat het weer zien in elke les)
E.T(array)verpakt getallen als een tensor..datais de array (float32);.gradisNonetotdatbackward()het bereikt.loss.backward()vult.gradin op elke tensor waar de loss van afhangt.opt = E.Adam(params, lr)neemt een lijst van tensors.opt.step()update elke tensor die een gradient heeft en zet daarna zijn.gradterug naarNone, zodat je nooit zelf gradients naar nul zet.- Afbeeldingen zijn channels last: (batch, rows, columns, channels).
E.conv(x, w)behoudt de grootte (same padding) en zet C kanalen om naar F metwvan vorm (9 * C, F).E.pool2halveert rows en columns;E.gapmiddelt deze weg, wat (batch, channels) geeft. E.cross_entropy(logits, y): logits (batch, classes) als een tensor, y een gewoon integer array. Het geeft een tensor terug met één getal;float(loss.data)leest het.- Een hele trainingsstap bestaat uit drie regels:
loss = E.cross_entropy(forward(Xb), yb),loss.backward(),opt.step(). - Opgenomen runs:
print(R.experiment(name))geeft de instellingen en de namen van de metrics weer;run = exp.run(setting=value, ...), danrun.loss(paren van step en loss),run.metrics(een dictionary) enrun.final_loss.
Roep de Curve op met de grafiek: schat de training loss na epoch 1 en na epoch 8 (de laatste).
Woorden en symbolen in deze les
- convolution
- het schuiven van een klein raster van gewichten (een filter) over een afbeelding, één dot product per positie
- filter, feature map
- het kleine geleerde raster van gewichten; en de afbeelding van de responsen
- padding (p), stride (s)
- zeros toegevoegd rond de rand; hoeveel pixels de filter elke stap verplaatst
- pooling
- Een kaart verkleinen door het maximum of gemiddelde van elk blok te behouden
- RECORDED
- Een echte run van de cursus is één keer getraind en verzonden zodat je het kunt bestuderen
Vul my_guess in, schrijf dan train(epochs, seed) die een functie predict(X) retourneert. Gebruik conv(1 to 16) + relu, conv(16 to 32) + relu, global average pooling, en dan een linear layer naar 10 classes. Haal minstens 90% op de test digits, en minstens 60% op test digits verschoven met 2 pixels (waar de MLP ongeveer 21% scoorde). De verschoven score varieert veel per seed (het eigen antwoord van de cursus krijgt 0.76 tot 0.89 over vijf seeds), dus de lat ligt ruim daaronder. Adam met een learning rate van ongeveer 1e-2 werkt hier; met 3e-3 leert dit kleine netwerk te traag voor de les.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.