Kurrikulum Leson 119 van 246 · Module 10: Netwerke wat sien (CNNs)
Module 10: Netwerke wat sien (CNNs)

'n Klein CNN op syfers

Waarom dit saak maak Dit is LeNet se idee uit 1998: convolution, pooling, convolution, pooling, dan 'n classifier. Bou dit met die house layers wat jy verdien het en sien hoe dit die MLP op verskuifde syfers verslaan.

Die huisbiblioteek nnsim.engine het die lae wat jy gebou het: conv (3 by 3, dieselfde padding), relu, pool2 (2 by 2 gemiddelde), gap (globale gemiddelde pooling), matmul, cross_entropy en Adam. 'n conv gewig vir 3 by 3 filters van C_in tot C_out kanale het vorm (9 * C_in, C_out).

Die huisbiblioteek, in een kaart (hou dit byderhand vir die res van die kursus; print(E.GUIDE) wys dit weer in enige les)

  • E.T(array) verpak getalle as 'n tensor. .data is die array (float32); .grad is None totdat backward() dit bereik.
  • loss.backward() vul .grad op elke tensor waar die loss van afhanklik.
  • opt = E.Adam(params, lr) neem 'n lys van tensors. opt.step() opdateer elke een wat 'n gradient het en stel dan sy .grad terug na None, sodat jy nooit self gradients nul stel nie.
  • Beelde is channels last: (batch, rows, columns, channels). E.conv(x, w) hou die grootte (same padding) en verander C kanale na F met w van vorm (9 * C, F). E.pool2 halveer rye en kolomme; E.gap gemiddeldelik hulle weg, wat (batch, channels) gee.
  • E.cross_entropy(logits, y): logits (batch, classes) as 'n tensor, y 'n gewone integer-array. Dit gee 'n tensor wat een getal hou terug; float(loss.data) lees dit.
  • 'n hele opleidingsstap is drie reëls: loss = E.cross_entropy(forward(Xb), yb), loss.backward(), opt.step().
  • Geregistreerde runs: print(R.experiment(name)) lys sy instellings en die name van sy metrieke; run = exp.run(setting=value, ...), dan run.loss (paaie van step en loss), run.metrics ('n dictionary) en run.final_loss.

Voorspel die kurwe met die grafiek: raai die training loss na epoch 1 en na epoch 8 (die laaste).

Woorde en simbole in hierdie les
convolution
skuif 'n klein rooster van gewigte ( 'n filter) oor 'n beeld, een dot product per posisie
filter, kenmerkkaart
die klein geleerde rooster van gewigte; en die beeld van sy reaksies
padding (p), stride (s)
zeros by die rand gevoeg; hoeveel pixels die filter elke stap beweeg
pooling
verklein 'n kaart deur die maksimum of gemiddelde van elke blok te behou
OPGENAAM
'n regte hardloop van die kursus is een keer opgelei en gestuur vir jou om te bestudeer
Jou beurt

Vul my_guess, skryf dan train(epochs, seed) wat 'n funksie predict(X) teruggee. Gebruik conv(1 to 16) + relu, conv(16 to 32) + relu, global average pooling, en dan 'n linear layer na 10 classes. Bereik ten minste 90% op die test digits, en ten minste 60% op test digits wat met 2 pixels verskuif is (waar die MLP ongeveer 21% geskop het). Die verskuifde telling skuif baie van seed tot seed (die kursus se eie antwoord kry 0.76 tot 0.89 oor vyf seeds), so die drempel is ver onder dit. Adam teen 'n learning rate van ongeveer 1e-2 werk hier. Met 3e-3 leer hierdie klein netwerk te stadig vir die les.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.